本地跑 7B 模型做日常任务的真实体验

硬件：单张 4090，24G 显存。跑 7B/8B 的量化模型很轻松，14B 的 Q4 也能跑。

能胜任的：文本分类、信息抽取、格式转换、简单摘要、翻译。这些任务 7B 够了，速度还快，本地跑不受网络影响。

勉强能用的：代码补全（短片段可以，跨文件理解不行）、多轮问答（三轮之后开始跑偏）。

干不了的：复杂推理、长文档分析、工具调用编排。试过让它调 3 个工具串起来，成功率很低。

结论：本地模型适合做流水线里的固定环节，不适合做主力助手。我的用法是 n8n 里挂本地模型做批处理，需要判断的环节才调云端。

电费算过：满载 300W 左右，跑一天不到 5 度电。

说个反面案例：我给 root 权限之后，它把 .env 改了。

第三条是真有用，之前完全没想到失败请求也在烧钱。