限流的维度各家不同:

  • 按请求数/分钟(RPM)
  • 按 token 数/分钟(TPM)
  • 按并发数
  • 按日总量

有的还分输入输出分别计。

做批量任务最容易踩的:只看了 RPM,结果因为单次请求 token 多,撞了 TPM。

应对:

  1. 批量任务前先小流量试探,看返回头里的限流信息
  2. 指数退避重试,别固定间隔硬撞
  3. 多 key 轮询(如果条款允许)

还有:限流错误和故障错误的处理要分开。限流要等,故障要切。

主楼