拿 20 万字的材料做测试,几个模型的标称窗口都够。
结果很一致:
- 问材料开头的内容,都答得对
- 问中间偏后的细节,准确率明显下降
- 需要跨章节综合的问题,错得最多
做法(在中间位置放关键信息):
开头和结尾的信息召回率高,中间位置的召回率低。这个现象跟窗口多大关系不大。实用结论:
- 关键信息放开头或结尾
- 长材料要提问就分段,别指望一次问清
- 跨章节推理这种活,先让人做提纲,再让模型填
窗口大小是营销数字,实际可用长度大概是标称的一半,复杂任务还要再打折扣。
主楼- 暂无回复
继续逛逛
拿 20 万字的材料做测试,几个模型的标称窗口都够。
结果很一致:
做法(在中间位置放关键信息):
开头和结尾的信息召回率高,中间位置的召回率低。这个现象跟窗口多大关系不大。
实用结论:
窗口大小是营销数字,实际可用长度大概是标称的一半,复杂任务还要再打折扣。