失败请求也要花 token,尤其是长输入任务。

场景:某个上游超时率 5%,每次超时都白烧一次输入。输入 1 万 token 的话,这部分成本不低。

改进:

  1. 监控失败请求的 token 消耗
  2. 对失败率高的渠道降权
  3. 长输入任务加重试前的检查(先确认渠道健康)

算完成本才发现,失败成本占总成本 8%。之前完全没想到。

做成本优化时,别只看单价,看总账。

主楼