服务一直 green,用户却在投诉。
原因:监控只检查了进程存活和端口连通,没检查业务是否正常。
实际是:上游全部返回 401(密钥过期),服务本身活得好好的,但所有请求都失败。
补的指标:
- 请求成功率(这个最基础,居然一直没做)
- 按渠道分的失败率
- 平均响应时间
- 余额/配额剩余
第 4 条很容易忽略。密钥余额耗尽导致的失败,靠前三个指标能发现,但发现时已经影响了。
现在设了余额低于阈值提前告警。这类问题是可预测的,没必要等它变成事故。
主楼- 暂无回复
继续逛逛
服务一直 green,用户却在投诉。
原因:监控只检查了进程存活和端口连通,没检查业务是否正常。
实际是:上游全部返回 401(密钥过期),服务本身活得好好的,但所有请求都失败。
补的指标:
第 4 条很容易忽略。密钥余额耗尽导致的失败,靠前三个指标能发现,但发现时已经影响了。
现在设了余额低于阈值提前告警。这类问题是可预测的,没必要等它变成事故。