端口通但模型挂了,健康检查还是绿的。
后来改成:
- 发一个最小的推理请求(一个 token 的输入)
- 检查返回是否合法
- 超时 5 秒算失败
这样能发现:显存溢出、模型卸载、权重损坏。
成本:每分钟一次小请求,可以忽略。
另一个改进:检查时带上实际模型的响应时间,超过基线两倍告警,能在用户感知前发现性能下降。
主楼- 暂无回复
继续逛逛
端口通但模型挂了,健康检查还是绿的。
后来改成:
这样能发现:显存溢出、模型卸载、权重损坏。
成本:每分钟一次小请求,可以忽略。
另一个改进:检查时带上实际模型的响应时间,超过基线两倍告警,能在用户感知前发现性能下降。