月度对账,平台显示消耗比我自己统计的多 30%。
查了两天:
- 自己统计用的是返回体里的 usage 字段
- 平台统计是服务端算的
差异来源:流式请求(stream=true)时,很多上游在最后一个 chunk 才带 usage,甚至有些干脆不带。我没接最后那个 chunk,导致自己统计偏少。
解法:
- 流式请求开 include_usage 参数(支持的平台)
- 拿不到 usage 的,用 tokenizer 本地估算,按模型记录
- 对账时以服务端为准,本地统计只用于趋势分析
另一个发现:有些中转站对流式请求按「估算」计费,比实际偏高。这也是账单差异的来源之一。
结论:做用量统计,非流式和流式要分开算。混在一起永远对不上。
主楼- 暂无回复
继续逛逛