内存带宽是推理瓶颈，不是算力

7B 模型跑推理，利用率只有三成，速度上不去。

top 看 CPU 不高，nvidia-smi 看 GPU 利用率也不高。

原因：小模型推理是内存带宽受限，不是算力受限。权重每一层都要从显存读一遍，带宽不够就等。

优化方向：

1. 量化（减少要读的数据量）
2. 增大 batch（摊薄读取开销）
3. 用带宽更高的卡

第 2 条最实用。单请求慢一点，但吞吐上去了。

理解这个之后就知道：跑小模型不需要最强的算力，需要足够的带宽。选卡时看带宽比看算力更有意义。