测试集被污染了，模型表现好得离谱

某个任务上模型准确率 98%，比其他模型高一大截。不太对劲。

查下来：测试集的题目是从公开题库里出的，而这个题库很可能在训练数据里。

判断方法：

1. 换一批自己造的、没公开过的题
2. 看错误模式，真会做的模型错得随机，背过的模型错得集中
3. 加干扰项，改数字改名称，看是否还答对

换题之后准确率掉到 72%，符合预期。

结论：公开 benchmark 的分数只能作参考。真实评估必须用自己业务的样本，而且要防止样本泄漏到训练集。

现在我在评测集里固定放 30% 的自造题，专门用来检测污染。