改了一版提示词,感觉效果变好了,跑了个对比,结论是新的好 15%。
但同事复现不出来。
原因:temperature 没固定,而且每次跑的样本顺序不同。
规范:
- temperature 固定(评测用 0 或 0.1)
- 样本顺序固定
- 记录完整参数(模型版本、温度、max_tokens)
- 同一配置跑三次取平均
这套做完,结论才可信。
评测最怕的不是方法粗糙,是结论不可复现。不可复现的结论会误导后续所有决策。
主楼- 暂无回复
继续逛逛
改了一版提示词,感觉效果变好了,跑了个对比,结论是新的好 15%。
但同事复现不出来。
原因:temperature 没固定,而且每次跑的样本顺序不同。
规范:
这套做完,结论才可信。
评测最怕的不是方法粗糙,是结论不可复现。不可复现的结论会误导后续所有决策。