跑了一周评测,发现脚本里的字符串匹配写错了,把所有包含关键词的回答都算成正确。
结果:所有模型准确率都是 90% 以上,没区分度。
教训:
- 评测脚本要先在人工标注的小样本上验证
- 抽样看原始输出,不只看分数
- 有人工基线做参照
第 2 条最关键。只看汇总数字,永远发现不了这种错误。
现在我的习惯:任何评测结果,先抽 20 条看原文,确认判定逻辑对。
主楼- 暂无回复
继续逛逛
跑了一周评测,发现脚本里的字符串匹配写错了,把所有包含关键词的回答都算成正确。
结果:所有模型准确率都是 90% 以上,没区分度。
教训:
第 2 条最关键。只看汇总数字,永远发现不了这种错误。
现在我的习惯:任何评测结果,先抽 20 条看原文,确认判定逻辑对。