同一条 prompt,周一跑和周五跑,感觉质量不一样。
可能原因:
- 上游负载不同,高峰期可能降级(有些平台会这么干)
- 模型在灰度更新,不同请求打到不同版本
- 自己的判断受状态影响(这条不能忽略)
验证方法:固定一批样本,每天同一时间跑,记录得分曲线。
我跑了两周,确实看到波动,大约 3-5 个点。不算大,但对质量敏感的场景要留意。
应对:重要输出加自动校验,不依赖单一调用的质量。
主楼- 暂无回复
继续逛逛
同一条 prompt,周一跑和周五跑,感觉质量不一样。
可能原因:
验证方法:固定一批样本,每天同一时间跑,记录得分曲线。
我跑了两周,确实看到波动,大约 3-5 个点。不算大,但对质量敏感的场景要留意。
应对:重要输出加自动校验,不依赖单一调用的质量。