同一份 prompt 跑十次结果差很多，不一定是模型的问题

做评测的时候发现，同一个 prompt 重复跑，输出质量波动很大。一开始以为是模型不稳定。

排查后三个原因：

1. temperature 没固定

默认值不一定是 0，有些客户端默认 0.7。做评测必须显式设 0 或 0.1。

2. 上游路由到不同后端

同一个 API，背后可能是不同机器、不同批次。有些中转站还会在渠道间轮询，模型版本可能都不一样。

3. 上下文残留

客户端把上一次的对话历史带进去了，看起来是同一个 prompt，实际上下文不同。

固定这三项后再测，波动小很多。剩下的波动是模型本身的采样随机性，这个没办法。

做评测的最低要求：temperature 固定、上下文清空、记录上游返回的 model 字段。第三项很多人不做，结果没法复现。