服务一直 green,用户却在投诉。

原因:监控只检查了进程存活和端口连通,没检查业务是否正常。

实际是:上游全部返回 401(密钥过期),服务本身活得好好的,但所有请求都失败。

补的指标:

  1. 请求成功率(这个最基础,居然一直没做)
  2. 按渠道分的失败率
  3. 平均响应时间
  4. 余额/配额剩余

第 4 条很容易忽略。密钥余额耗尽导致的失败,靠前三个指标能发现,但发现时已经影响了。

现在设了余额低于阈值提前告警。这类问题是可预测的,没必要等它变成事故。

主楼