• momo

    全用旗舰模型太贵,全用便宜模型质量不稳。我的分层:

    第一层(分类器):一条极短的请求,判断任务类型和难度,用最便宜的模型,成本可以忽略。

    第二层(执行):

    • 格式化、抽取、翻译、打标签 → 便宜模型,出错成本低
    • 写代码、长链推理、需要工具调用 → 旗舰模型
    • 长文档摘要 → 中等模型 + 分段

    第三层(校验):关键输出用另一个模型复核一遍,只检查明显错误,不做重写。

    实践数据:同一批任务,成本降到原来的 35% 左右,人工返工没明显增加。

    注意:分层别做太细,超过三层之后维护成本超过省下的钱。还有,分类器本身要足够准,分错了比不分更贵。

    主楼
  • xiaoman

    问下你用的哪个版本,我这边参数好像不一样。

    #1
  • laozhou

    第三条我踩过,日志里看着正常,实际字节已经不一样了。

    #2

发表回复

登录后回复