两次跑同一个评测，排名变了，原因是样本顺序

A 模型第一次排第一，第二次排第二。

原因：样本顺序不同，模型在不同位置的稳定性不一样。

教训：评测必须固定样本顺序，而且要随机化一次再固定（避免样本本身有序带来的偏差）。

做法：

1. 用固定种子打乱样本顺序
2. 记录打乱后的顺序
3. 所有模型用同一份顺序

此外要跑多次取平均，报告方差。方差大的任务说明结果不稳定，结论不能下太死。