做法:同一个 prompt 跑 5 次,temperature 设 0.7,看答案一致性。

一致:说明模型对这个知识点很确定。
不一致:要么知识模糊,要么问题本身有歧义。

有意思的是:一致的答案不一定对,但错误的答案往往不一致。所以不一致是个很好的「需要人工看一眼」的信号。

用法:

  1. 生产环境抽样,跑三次,不一致的挑出来人工检查
  2. 评测时把一致性作为指标之一

成本是三次调用,但能筛出大部分问题样本。

主楼