端口通但模型挂了,健康检查还是绿的。

后来改成:

  1. 发一个最小的推理请求(一个 token 的输入)
  2. 检查返回是否合法
  3. 超时 5 秒算失败

这样能发现:显存溢出、模型卸载、权重损坏。

成本:每分钟一次小请求,可以忽略。

另一个改进:检查时带上实际模型的响应时间,超过基线两倍告警,能在用户感知前发现性能下降。

主楼