启动一个 14B 模型要 90 秒,换显卡没用。
查:iostat 看磁盘读速只有 100MB/s 左右。模型文件 8G 多,读进来就 80 秒。
改:放进 SSD,启动时间降到 12 秒。
另一个优化:模型文件如果用 mmap 加载,首次读是冷的,可以提前 warmup 一遍。第二次启动快很多,因为页缓存还在。
如果你的模型放在网络存储上,那更慢。推理服务一定要本地盘。
经验:调优先看瓶颈在哪。显卡算力富余的情况下,先去查 IO 和内存带宽,别一上来就换卡。iostat、nvidia-smi、htop 三个命令基本能定位。
主楼- 暂无回复
继续逛逛