标称 100 万 token,实际能用的远不到。

测法:在 10 万、20 万、50 万字材料的开头、中间、结尾各埋一个事实,提问看能不能答对。

结果:开头和结尾基本都能答对,中间位置在 20 万字之后开始明显漏。

另外:长度上去之后,生成速度明显变慢,成本也高。

实用建议:

  1. 别拿标称窗口当设计依据
  2. 长材料先做检索或分段,比硬塞进去可靠
  3. 关键信息放首尾

这个能力有用,但被营销放大了。当成「能处理很长的材料」可以,当成「能理解很长的材料」会失望。

主楼