一开始用 10 条样本对比两个模型，结论 A 比 B 好。换一批样本，结论反过来。

原因：10 条样本的差异在统计上毫无意义，模型输出的随机性就能造成这么大波动。

调整：

  • 每个模型至少 50 条样本
  • 同一个样本跑 3 次，取平均
  • 记录方差，方差大的任务说明这个任务本身不适合用模型做

另外：样本要覆盖难易分布。全是简单样本，所有模型都是 100%，没区分度；全是难题，都是 0%，也没意义。

做评测最大的成本不是跑模型，是准备样本。样本准备花的时间通常占总时间的七成。

主楼