做法:同一个 prompt 跑 5 次,temperature 设 0.7,看答案一致性。
一致:说明模型对这个知识点很确定。
不一致:要么知识模糊,要么问题本身有歧义。有意思的是:一致的答案不一定对,但错误的答案往往不一致。所以不一致是个很好的「需要人工看一眼」的信号。
用法:
- 生产环境抽样,跑三次,不一致的挑出来人工检查
- 评测时把一致性作为指标之一
成本是三次调用,但能筛出大部分问题样本。
主楼- 暂无回复
继续逛逛
做法:同一个 prompt 跑 5 次,temperature 设 0.7,看答案一致性。
一致:说明模型对这个知识点很确定。
不一致:要么知识模糊,要么问题本身有歧义。
有意思的是:一致的答案不一定对,但错误的答案往往不一致。所以不一致是个很好的「需要人工看一眼」的信号。
用法:
成本是三次调用,但能筛出大部分问题样本。