主题回帖积分

• ⭐️
  模型服务健康检查不能只 ping 端口

  sanshi18小时前踩坑0
  踩坑
• ⭐️
  内存带宽是推理瓶颈，不是算力

  sanshi2天前踩坑0
  踩坑
• ⭐️
  模型文件下载到一半断了，续传之后加载报错

  sanshi2天前踩坑0sanshi
  踩坑
• ⭐️
  ffi 库版本不匹配，导入就崩

  sanshi6天前踩坑0
  踩坑
• ⭐️
  显存够但模型加载报错，是碎片问题

  sanshi6天前踩坑0sanshi
  踩坑
• ⭐️
  模型加载慢，问题在磁盘不在显卡

  sanshi2026-10-22踩坑0sanshi
  踩坑
• ⭐️
  本地模型跑着跑着磁盘满了，是缓存没清

  sanshi2026-10-21踩坑0sanshi
  踩坑
• ⭐️
  GPU 温度过高自动降频，性能掉了一半

  sanshi2026-10-19踩坑0
  踩坑
• ⭐️
  并发数设太高，模型服务反而变慢

  sanshi2026-10-11踩坑0
  踩坑
• ⭐️
  显卡驱动升级之后推理服务起不来，回滚记录

  sanshi2026-10-08踩坑0
  踩坑
• ⭐️
  量化模型输出乱码，原因是 chat template 没对上

  sanshi2026-10-07踩坑0
  踩坑
• ⭐️
  推理服务的并发上去了延迟飙升，是批处理策略的问题

  sanshi2026-10-06踩坑0
  踩坑
• ⭐️
  量化模型的输出里有重复 token，是采样参数问题

  sanshi2026-10-06踩坑0
  踩坑
• ⭐️
  模型返回的中文里有零宽字符，导致匹配失败

  sanshi2026-10-05踩坑0
  踩坑
• ⭐️
  模型量化后效果崩了，问题出在量化方式而不是精度等级

  sanshi2026-09-29踩坑0
  踩坑
• ⭐️
  两张卡跑推理，速度却没比一张快，问题在张量并行配置

  sanshi2026-09-28踩坑0
  踩坑
• ⭐️
  vLLM 起服务显存不够，报错信息骗了我半天

  sanshi2026-09-27踩坑3kk
  踩坑
• ⭐️
  本地推理服务被外部访问，加鉴权之前先看这个

  sanshi2026-09-22踩坑0sanshi
  踩坑
• ⭐️
  并发请求把上游打成 429，退避策略写错了

  sanshi2026-09-21踩坑0
  踩坑
• ⭐️
  模型输出被截断，max_tokens 和上下文长度是两回事

  sanshi2026-09-20踩坑0sanshi
  踩坑