测了几家的流式输出，首字延迟差异挺大

同一个模型，不同渠道，首字延迟：0.3s、0.8s、2.1s。

影响首字延迟的因素：

1. 网络链路（这个影响最直接，跨境线路差的能差一秒以上）
2. 是否做了预填充优化
3. 排队（并发高的时候，请求要等）

体感上，首字 1 秒以内都不错，超过 2 秒会觉得卡。

对做产品的影响：如果做对话类产品，首字延迟比总延迟重要。用户看到字开始输出就不焦虑了。

一个技巧：把固定部分（system prompt）预热，降低首字时间。有的平台支持上下文缓存，用好能省一半延迟。