测了不同长度的输入，延迟增长不是线性的

输入 1k、10k、50k token，延迟分别是 0.5s、1.2s、5s。

增长接近超线性。长输入的处理成本比想象中高。

实践影响：

1. 长文档任务更贵也更慢，能摘要就别全文塞
2. 缓存命中能显著降低长输入的成本
3. 分块处理的总成本往往低于一次性长输入

另一个观察：输出长度对延迟的影响更明显，输出越长越慢，因为要逐 token 生成。

优化方向：减少输入冗余比减少输出更划算。输入可以裁剪，输出受业务限制。