月度成本突然上涨,查了半天发现是缓存命中率掉了。

原因:改了系统提示词的一个字,缓存全部失效,所有请求都变成全价。

教训:

  1. 系统提示词改动会影响缓存,改动要评估成本
  2. 监控缓存命中率,掉了要能发现
  3. 提示词版本化,改之前记录

教训很贵:一次改动,多花了几百块。

现在我的监控里加了缓存命中率,低于阈值告警。

主楼