工具返回一万条记录,直接塞进上下文必然爆。
两种处理:
截断:只返回前 100 条,告诉它「还有更多」。它会以为够了,不再要。
分页:返回前 100 条 + total + 下一页的 cursor,明确告诉它怎么继续。分页更好。模型知道数据不全,会主动翻页或者筛选。
实现成本差不多,效果差很多。
配套要求:返回体里必须写清总数和分页方式,否则模型不知道该不该继续拿。
主楼- 暂无回复
继续逛逛
工具返回一万条记录,直接塞进上下文必然爆。
两种处理:
截断:只返回前 100 条,告诉它「还有更多」。它会以为够了,不再要。
分页:返回前 100 条 + total + 下一页的 cursor,明确告诉它怎么继续。
分页更好。模型知道数据不全,会主动翻页或者筛选。
实现成本差不多,效果差很多。
配套要求:返回体里必须写清总数和分页方式,否则模型不知道该不该继续拿。