跑了一周评测,发现脚本里的字符串匹配写错了,把所有包含关键词的回答都算成正确。

结果:所有模型准确率都是 90% 以上,没区分度。

教训:

  1. 评测脚本要先在人工标注的小样本上验证
  2. 抽样看原始输出,不只看分数
  3. 有人工基线做参照

第 2 条最关键。只看汇总数字,永远发现不了这种错误。

现在我的习惯:任何评测结果,先抽 20 条看原文,确认判定逻辑对。

主楼