自己搭的网关,新加了一个渠道,倍率默认 1,忘了改成实际成本对应的值。结果那个模型的实际价格是标称的十倍,一晚上跑了两千多。
复盘,三个失误:
- 没有单次调用金额上限
超过阈值应该拒绝,而不是事后看账单。
- 没有日预算告警
消耗到 50%、80% 应该通知,我是第二天看余额才发现。
- 新渠道没有灰度
应该先小流量跑一天,验证倍率和实际扣费一致,再全量。
补的措施:
- 每用户每日额度上限
- 全局日预算,超了自动降级到便宜模型
- 新渠道默认倍率设成 5,宁可多扣也不漏扣,验证后再调
教训:计费系统里,默认值一定要往保守的方向设。默认值错了,错误是静默放大的。
主楼- 暂无回复
继续逛逛