同一条 prompt,周一跑和周五跑,感觉质量不一样。

可能原因:

  1. 上游负载不同,高峰期可能降级(有些平台会这么干)
  2. 模型在灰度更新,不同请求打到不同版本
  3. 自己的判断受状态影响(这条不能忽略)

验证方法:固定一批样本,每天同一时间跑,记录得分曲线。

我跑了两周,确实看到波动,大约 3-5 个点。不算大,但对质量敏感的场景要留意。

应对:重要输出加自动校验,不依赖单一调用的质量。

主楼