一、把 system prompt 缓存起来
长系统提示每次重发是纯浪费。支持 prompt caching 的上游,缓存命中部分价格差好几倍。改完之后月度账单明显下降。

二、日志里记 token 明细
不记就永远不知道钱花在哪。按「功能 × 模型」两个维度统计,一周就能看出哪个功能是吞金兽。我有个功能是每次把整份文档塞进去做分类,改成先检索再分类,单项成本降了 90%。

三、输出限长
很多调用其实只要一句话,但没限制它就写三百字。max_tokens 该设就设。

四、批量合并
100 条独立小请求合成 10 条批量请求,省的是系统提示的重复开销。

四件事做完,账单降到 35% 左右,效果没退化。最没用的优化是换更便宜的模型——质量掉了,返工的成本比省下的钱多。

主楼