同一批请求,流式和非流式,token 数应该一样,成本也一样。

但实测有些平台流式会多算。原因可能是:

  1. 流式请求无法准确统计 usage,按估算收费
  2. 有的把 chunk 数量也算进计费

验证方法:同样内容跑一百次,对比账单。

结论:做精确成本核算时,用非流式;对体验敏感的场景用流式,接受一定的计费误差。

对账时如果发现流式请求成本偏高,别以为是自己的问题。

主楼