公开的好处：可复现、同行可比。

坏处：一旦公开，很快会进训练数据，指标虚高。

现在的做法：

  • 公开一小部分（比如 20%）作为基准
  • 主体部分不公开，只公开统计结果和方法
  • 定期换题，防止泄漏

理由：评测的目的是指导决策，不是排名。指标虚高会误导自己。

另外：公开评测集容易被针对优化。模型学会了你的题型，不代表能力真的强。

主楼