标称 100 万 token,实际能用的远不到。
测法:在 10 万、20 万、50 万字材料的开头、中间、结尾各埋一个事实,提问看能不能答对。
结果:开头和结尾基本都能答对,中间位置在 20 万字之后开始明显漏。
另外:长度上去之后,生成速度明显变慢,成本也高。
实用建议:
- 别拿标称窗口当设计依据
- 长材料先做检索或分段,比硬塞进去可靠
- 关键信息放首尾
这个能力有用,但被营销放大了。当成「能处理很长的材料」可以,当成「能理解很长的材料」会失望。
主楼- 暂无回复
继续逛逛
标称 100 万 token,实际能用的远不到。
测法:在 10 万、20 万、50 万字材料的开头、中间、结尾各埋一个事实,提问看能不能答对。
结果:开头和结尾基本都能答对,中间位置在 20 万字之后开始明显漏。
另外:长度上去之后,生成速度明显变慢,成本也高。
实用建议:
这个能力有用,但被营销放大了。当成「能处理很长的材料」可以,当成「能理解很长的材料」会失望。