限流的维度各家不同:
- 按请求数/分钟(RPM)
- 按 token 数/分钟(TPM)
- 按并发数
- 按日总量
有的还分输入输出分别计。
做批量任务最容易踩的:只看了 RPM,结果因为单次请求 token 多,撞了 TPM。
应对:
- 批量任务前先小流量试探,看返回头里的限流信息
- 指数退避重试,别固定间隔硬撞
- 多 key 轮询(如果条款允许)
还有:限流错误和故障错误的处理要分开。限流要等,故障要切。
主楼- 暂无回复
继续逛逛
限流的维度各家不同:
有的还分输入输出分别计。
做批量任务最容易踩的:只看了 RPM,结果因为单次请求 token 多,撞了 TPM。
应对:
还有:限流错误和故障错误的处理要分开。限流要等,故障要切。