Ollama：一条命令拉模型就跑，最省事。适合试用和简单集成。

llama.cpp：手动编译，参数多，但可控性最好，量化格式支持全。

vLLM：面向服务，并发能力强，配置复杂，显存要求高。

LM Studio：图形界面，适合不写代码的场景，背后也是 llama.cpp。

启动速度（同一个 7B 模型，SSD）：Ollama 3 秒，llama.cpp 5 秒，vLLM 20 秒（要做内存规划）。

选择建议：

  • 只是试试 → Ollama 或 LM Studio
  • 要嵌进程序 → llama.cpp 或 Ollama 的 API
  • 要对外提供服务、有并发 → vLLM

别一上来就上 vLLM，小规模场景它的复杂度是负担。

主楼