测了一批简单任务:文本分类、格式转换、关键词抽取。
贵模型和便宜模型的准确率差异在 3 个点以内,速度上便宜模型还快。
真正拉开差距的是:
- 复杂推理(多步计算、逻辑推演)
- 长文本理解
- 需要遵循复杂格式的任务
结论:先按任务分档,简单任务用便宜模型,能省八成成本。全都用旗舰模型是懒,不是专业。
分档的方法:拿 50 条真实样本,两个模型都跑,看差异。差异在 5 个点以内就用便宜的。
这个动作花两小时,长期省很多钱。
主楼- 暂无回复
继续逛逛
测了一批简单任务:文本分类、格式转换、关键词抽取。
贵模型和便宜模型的准确率差异在 3 个点以内,速度上便宜模型还快。
真正拉开差距的是:
结论:先按任务分档,简单任务用便宜模型,能省八成成本。全都用旗舰模型是懒,不是专业。
分档的方法:拿 50 条真实样本,两个模型都跑,看差异。差异在 5 个点以内就用便宜的。
这个动作花两小时,长期省很多钱。