量化模型的输出里有重复 token，是采样参数问题

输出开始重复同一个词，越重复越离谱。

调了参数解决：

1. repetition_penalty 加到 1.1
2. 或者用 no_repeat_ngram_size 限制重复片段
3. 降低 temperature

原因：量化模型的概率分布有偏移，贪心解码容易陷入循环。

注意：penalty 设太高会导致输出不自然，出现生硬的近义词替换。1.1 到 1.15 之间比较合适。

还有个环境因素：上下文过长时更容易出现，因为注意力被稀释。