接口平均延迟 800ms,看着还行。用户投诉说经常等好几秒。
查分布:p50 是 600ms,p95 是 4.2 秒,p99 是 12 秒。
原因:长输出请求的延迟远高于短请求,平均下来被短请求拉低了。
改进:
- 按输出长度分组统计
- 关注 p95 和 p99,别只看均值
- 长输出场景用流式,首字延迟和总时长分开看
另一个发现:流式下首字延迟才是用户感知的关键。总时长 10 秒但首字 500ms,体感比总时长 3 秒但首字 2 秒更好。
指标选错,优化方向就会错。
主楼- 暂无回复
继续逛逛
接口平均延迟 800ms,看着还行。用户投诉说经常等好几秒。
查分布:p50 是 600ms,p95 是 4.2 秒,p99 是 12 秒。
原因:长输出请求的延迟远高于短请求,平均下来被短请求拉低了。
改进:
另一个发现:流式下首字延迟才是用户感知的关键。总时长 10 秒但首字 500ms,体感比总时长 3 秒但首字 2 秒更好。
指标选错,优化方向就会错。