月度成本突然上涨,查了半天发现是缓存命中率掉了。
原因:改了系统提示词的一个字,缓存全部失效,所有请求都变成全价。
教训:
- 系统提示词改动会影响缓存,改动要评估成本
- 监控缓存命中率,掉了要能发现
- 提示词版本化,改之前记录
教训很贵:一次改动,多花了几百块。
现在我的监控里加了缓存命中率,低于阈值告警。
主楼- 暂无回复
继续逛逛
月度成本突然上涨,查了半天发现是缓存命中率掉了。
原因:改了系统提示词的一个字,缓存全部失效,所有请求都变成全价。
教训:
教训很贵:一次改动,多花了几百块。
现在我的监控里加了缓存命中率,低于阈值告警。