网关里配了 8 个渠道,某天早上全部显示不可用,但实际调用是通的。

原因:健康检查用的测试请求是固定的一句话,某个模型对这句话返回了内容审核拦截,网关把 403 当成「渠道失效」,全部禁用。

改法:

  1. 健康检查的判定标准放宽:只有连接失败、401、5xx 才算失效。4xx 里的 400/403 可能是请求内容问题,不算渠道问题。
  2. 测试用的 prompt 换成中性内容,别用可能触发审核的句子。
  3. 加重试:单次失败不算,连续两次失败才标记。

改完之后再没出现集体误判。

另一个反向问题:有的渠道真挂了但健康检查还显示正常,因为检查请求走的是轻量模型。检查要覆盖实际在用的模型,不能只测最便宜那个。

主楼