之前评测时,模型对所有问题都硬答,错的一半。我按对错统计,准确率五成。
改成允许它说「资料里没有」之后:
- 明确答对:45%
- 明确说不知道:40%
- 硬答且错:15%
看起来准确率没变,但可用性完全不同。说不知道的时候,用户会去查;硬答错的时候,用户被误导。
所以评测指标要分开算:答对率、弃答率、错答率。只看答对率会鼓励模型瞎猜。
这条改完之后,我在所有 prompt 里都加了「不确定就说不知道,不要编」。
主楼- 暂无回复
继续逛逛
之前评测时,模型对所有问题都硬答,错的一半。我按对错统计,准确率五成。
改成允许它说「资料里没有」之后:
看起来准确率没变,但可用性完全不同。说不知道的时候,用户会去查;硬答错的时候,用户被误导。
所以评测指标要分开算:答对率、弃答率、错答率。只看答对率会鼓励模型瞎猜。
这条改完之后,我在所有 prompt 里都加了「不确定就说不知道,不要编」。