• yehang

    测法很土但有效:同一份 prompt(结构化抽取,要求输出固定 JSON 字段),每个模型跑 20 次,temperature 都设 0,看结果完全一致的比例。

    结果(只代表我这个任务,不代表通用能力):

    • 模型 A:20/20 一致
    • 模型 B:17/20,三次差异都在数组顺序上
    • 模型 C:12/20,字段名偶尔变体(product_name / productName)
    • 模型 D:9/20,还会漏字段

    结论不是谁强谁弱,而是:temperature=0 不代表确定性。批处理、缓存、回归测试这类场景,稳定性比单次质量更重要。

    做法上的两条:

    1. 用 JSON Schema 约束输出,比在 prompt 里写「必须输出 JSON」有效得多
    2. 对顺序敏感的结果,自己排序后再比对,别让模型决定顺序

    最后提醒:稳定率会随 prompt 长度下降。我这份 prompt 800 字左右,超过 2000 字之后 B 的一致性掉到 14/20。上线前拿自己的真实 prompt 测,别抄别人的结论。

    主楼
  • momo

    稳定率这段很有用。我们做计费对账,模型输出字段名飘了就直接坏账,最后靠 schema 约束 + 后处理兜底。

    #1

发表回复

登录后回复