首页/AI/大模型部署与运维速查/发布后冒烟:固定六个最小用例
本包目录(267 条)
部署形态与选型43 条推理环境与 GPU50 条推理参数与优化50 条显存与并发估算40 条服务化与网关34 条
运维监控与排障50 条

发布后冒烟:固定六个最小用例

每次发布或重启后跑固定冒烟集:健康端点、模型列表、非流式对话、流式对话、长上下文、并发小压;全部通过再放量,失败立即停止并回退。

冒烟命令(示意)

冒烟命令(示意)
curl -sf http://127.0.0.1:8000/health && echo OK
curl -s http://127.0.0.1:8000/v1/models | head -c 200
curl -s http://127.0.0.1:8000/v1/chat/completions -H 'Content-Type: application/json' -d @smoke.json | head -c 300
  • 流式:验证 SSE 分块返回与结尾标记
  • 长上下文:贴近实际输入长度上限,避免只在短请求上正常
  • 并发小压:十几并发跑一分钟,看延迟分位与错误率
  • 失败处理:任一用例失败即停止放量,保留现场进入回退
冒烟集纳入发布脚本:手工清单容易被跳过,脚本化才能每次都跑。

易错点

  • 冒烟只测非流式:流式路径的缓冲与心跳问题会留到客户端才暴露

数据来源与参考

  • vLLM 官方文档:OpenAI-Compatible Server(docs.vllm.ai)
  • Google SRE 手册:Release Engineering(sre.google/sre-book)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌