测了一批简单任务:文本分类、格式转换、关键词抽取。

贵模型和便宜模型的准确率差异在 3 个点以内,速度上便宜模型还快。

真正拉开差距的是:

  • 复杂推理(多步计算、逻辑推演)
  • 长文本理解
  • 需要遵循复杂格式的任务

结论:先按任务分档,简单任务用便宜模型,能省八成成本。全都用旗舰模型是懒,不是专业。

分档的方法:拿 50 条真实样本,两个模型都跑,看差异。差异在 5 个点以内就用便宜的。

这个动作花两小时,长期省很多钱。

主楼