之前评测时,模型对所有问题都硬答,错的一半。我按对错统计,准确率五成。

改成允许它说「资料里没有」之后:

  • 明确答对:45%
  • 明确说不知道:40%
  • 硬答且错:15%

看起来准确率没变,但可用性完全不同。说不知道的时候,用户会去查;硬答错的时候,用户被误导。

所以评测指标要分开算:答对率、弃答率、错答率。只看答对率会鼓励模型瞎猜。

这条改完之后,我在所有 prompt 里都加了「不确定就说不知道,不要编」。

主楼