失败请求也要花 token,尤其是长输入任务。
场景:某个上游超时率 5%,每次超时都白烧一次输入。输入 1 万 token 的话,这部分成本不低。
改进:
- 监控失败请求的 token 消耗
- 对失败率高的渠道降权
- 长输入任务加重试前的检查(先确认渠道健康)
算完成本才发现,失败成本占总成本 8%。之前完全没想到。
做成本优化时,别只看单价,看总账。
主楼- 暂无回复
继续逛逛
失败请求也要花 token,尤其是长输入任务。
场景:某个上游超时率 5%,每次超时都白烧一次输入。输入 1 万 token 的话,这部分成本不低。
改进:
算完成本才发现,失败成本占总成本 8%。之前完全没想到。
做成本优化时,别只看单价,看总账。