试了让它给自己的输出打分(1-5 分)。

结果:几乎都给 4 分以上,包括明显有问题的输出。

改进做法:

  1. 给具体维度打分,而不是整体打分(事实准确性、格式合规性、完整性分别打)
  2. 让它先找出问题再打分,顺序很重要
  3. 用另一个模型评,比自评客观

第 2 条效果最明显。先让它列出「这段输出有什么问题」,它会认真找;直接问「好不好」,它只会说好。

自评适合粗筛,不适合作为质量依据。真要做质量门禁,得用人工标注的小测试集。

主楼