首页/AI/大模型部署与运维速查/调试端点暴露面:/metrics 与健康检查
本包目录(267 条)
部署形态与选型43 条推理环境与 GPU50 条推理参数与优化50 条显存与并发估算40 条服务化与网关34 条
运维监控与排障50 条

调试端点暴露面:/metrics 与健康检查

监控与健康端点默认面向内网:绑定地址、防火墙与网关鉴权三层收口;对公网只保留经网关的 API 入口,避免指标与内部拓扑被直接读取。

确认暴露面

确认暴露面
ss -lntp | grep -E ':8000|:9090'      # 看监听地址是 0.0.0.0 还是 127.0.0.1
curl -s -o /dev/null -w '%{http_code}\n' http://<内网IP>:8000/metrics
  • 绑定:引擎与 exporter 尽量只监听内网地址或本机
  • 网络:安全组/防火墙仅放行业务端口,监控端口只开给监控网段
  • 网关:对外只暴露 API 路由,/metrics 不进入公网路由表
把这项检查放进上线前核对:端点暴露面是「默认存在」的,显式确认过才算安心。

易错点

  • 只测应用端口不测监控端口:指标里可能含模型名、版本与流量结构信息

数据来源与参考

  • vLLM 官方文档:OpenAI-Compatible Server(docs.vllm.ai)
  • nginx 官方文档:访问控制 allow/deny(nginx.org)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌