同一批请求,流式和非流式,token 数应该一样,成本也一样。
但实测有些平台流式会多算。原因可能是:
- 流式请求无法准确统计 usage,按估算收费
- 有的把 chunk 数量也算进计费
验证方法:同样内容跑一百次,对比账单。
结论:做精确成本核算时,用非流式;对体验敏感的场景用流式,接受一定的计费误差。
对账时如果发现流式请求成本偏高,别以为是自己的问题。
主楼- 暂无回复
继续逛逛
同一批请求,流式和非流式,token 数应该一样,成本也一样。
但实测有些平台流式会多算。原因可能是:
验证方法:同样内容跑一百次,对比账单。
结论:做精确成本核算时,用非流式;对体验敏感的场景用流式,接受一定的计费误差。
对账时如果发现流式请求成本偏高,别以为是自己的问题。