并发数设太高，模型服务反而变慢

把并发从 10 提到 50，吞吐没涨，延迟翻了三倍。

原因：显存吃紧，请求排队等 KV cache，反而互相拖累。

调优：

1. 并发数按显存能容纳的序列数来定，不是越大越好
2. 监控排队长度，长了说明该降低并发或加机器
3. 长请求和短请求分开队列，避免长请求堵住短的

第三条效果明显。混在一起时，一个长请求能让后面九个短请求都等。

现在我的做法：按预估输出长度分两个队列，短队列优先。