模型量化后效果崩了，问题出在量化方式而不是精度等级

同一份评测集，Q4_K_M 的 14B 和 Q5_K_M 的 14B 差距比想象大，但真正崩的是另一个：用了某种无校准的 INT4 量化，长文本任务里开始重复输出。

现象：输出到 300 字左右开始循环同一句话，越循环越离谱。

查了半天，是量化时 calibration 数据集和实际用途不匹配——用英文语料校准的模型，跑中文长文本，注意力分布被破坏。

经验：

• 量化等级不是唯一变量，校准数据更重要
• 中文场景要用中文校准集，或者直接用带中文的官方量化版本
• 上线前必跑一遍自己的真实任务集，别只看困惑度指标

另外：模型越小，量化带来的损失越明显。7B 的 Q4 掉得比 32B 的 Q4 多。要质量就上大模型低精度，别用小模型高精度硬撑。