全用旗舰模型太贵,全用便宜模型质量不稳。我的分层:
第一层(分类器):一条极短的请求,判断任务类型和难度,用最便宜的模型,成本可以忽略。
第二层(执行):
- 格式化、抽取、翻译、打标签 → 便宜模型,出错成本低
- 写代码、长链推理、需要工具调用 → 旗舰模型
- 长文档摘要 → 中等模型 + 分段
第三层(校验):关键输出用另一个模型复核一遍,只检查明显错误,不做重写。
实践数据:同一批任务,成本降到原来的 35% 左右,人工返工没明显增加。
注意:分层别做太细,超过三层之后维护成本超过省下的钱。还有,分类器本身要足够准,分错了比不分更贵。
主楼问下你用的哪个版本,我这边参数好像不一样。
第三条我踩过,日志里看着正常,实际字节已经不一样了。
继续逛逛