接口平均延迟 800ms,看着还行。用户投诉说经常等好几秒。

查分布:p50 是 600ms,p95 是 4.2 秒,p99 是 12 秒。

原因:长输出请求的延迟远高于短请求,平均下来被短请求拉低了。

改进:

  • 按输出长度分组统计
  • 关注 p95 和 p99,别只看均值
  • 长输出场景用流式,首字延迟和总时长分开看

另一个发现:流式下首字延迟才是用户感知的关键。总时长 10 秒但首字 500ms,体感比总时长 3 秒但首字 2 秒更好。

指标选错,优化方向就会错。

主楼