长对话之后,客户端都会做上下文管理,策略不同:
A:截断最老的。简单,但可能丢掉关键信息。
B:让模型自己总结。信息保留好,但多一次调用,且总结可能失真。
C:把工具输出替换成摘要。对工具调用密集的场景有效。我用下来,C 最实用。工具输出通常是上下文膨胀的主因,压缩它对保真度影响最小。
观察方法:看客户端的 token 使用曲线,涨得快的地方就是需要压缩的地方。
主楼- 暂无回复
继续逛逛
长对话之后,客户端都会做上下文管理,策略不同:
A:截断最老的。简单,但可能丢掉关键信息。
B:让模型自己总结。信息保留好,但多一次调用,且总结可能失真。
C:把工具输出替换成摘要。对工具调用密集的场景有效。
我用下来,C 最实用。工具输出通常是上下文膨胀的主因,压缩它对保真度影响最小。
观察方法:看客户端的 token 使用曲线,涨得快的地方就是需要压缩的地方。