跑批量推理,后半段速度明显变慢。

查:nvidia-smi 看到温度 85 度,功耗被限制。

原因:机箱风道不好,两张卡贴太近,热的卡降频。

改善:

  1. 加风扇,改善风道
  2. 卡之间留空位
  3. 限制功耗到 80%,牺牲一点峰值性能换稳定

第 3 条最实用。功耗限制之后温度下来了,持续性能反而更好。

监控:把温度和功耗加进监控,长期高温对硬件寿命有影响。

这类问题在自建推理环境里很常见,尤其是消费级卡堆叠。

主楼