改了一版提示词,感觉效果变好了,跑了个对比,结论是新的好 15%。

但同事复现不出来。

原因:temperature 没固定,而且每次跑的样本顺序不同。

规范:

  1. temperature 固定(评测用 0 或 0.1)
  2. 样本顺序固定
  3. 记录完整参数(模型版本、温度、max_tokens)
  4. 同一配置跑三次取平均

这套做完,结论才可信。

评测最怕的不是方法粗糙,是结论不可复现。不可复现的结论会误导后续所有决策。

主楼