首页/AI/大模型部署与运维速查/推理服务常用默认端口速查
部署形态与选型43 条

推理服务常用默认端口速查

把常见推理组件与网关的默认监听端口汇总成表,用于防火墙规划、安全组核对与端口占用排查。

为什么需要这份速查

推理链路上会同时出现多个监听端口:引擎自己一个、网关一个、监控导出器一个。装机、配防火墙、配安全组与排查端口冲突时,都需要一份默认端口的对照表。默认端口是公开信息,暴露在公网等于把组件位置直接写在门上;这份表用来核对与规划,不是用来对外暴露的清单。

常见默认端口

组件端口
vLLM8000
TGI8080(容器内 80)
SGLang30000
Ollama11434
llama.cpp llama-server8080
LMDeploy api_server23333
Xinference9997
LiteLLM 网关4000
OpenWebUI3000
dcgm-exporter9400

端口与暴露策略

用途建议监听说明
引擎接口环回或内网地址只让网关与内网调用方访问
网关入口内网或经负载均衡对外只暴露网关这一层
监控指标内网地址采集器在内网抓取,不对公网开放
前端界面内网或加鉴权面向人的界面要有登录与权限
临时调试端口用完即关临时暴露的服务最容易变成长期漏洞

确认端口占用

确认端口占用
# 列出监听中的 TCP 端口与对应进程
ss -lntp | grep -E '8000|11434|30000'
# 按端口反查占用进程(部分系统需要 root)
lsof -i :8000
# 确认监听地址:0.0.0.0 表示所有网卡都能访问
ss -lntp | grep 11434

典型使用场景

  • 防火墙与安全组规划:按组件与调用关系逐条放行,而不是整段放开
  • 端口冲突排查:多个服务默认端口相同,启动失败时先查占用
  • 容器端口映射核对:容器内端口与宿主机映射要一一对应
  • 内网巡检:定期核对监听地址是否出现意外的对外监听
  • 文档与交接:把实际使用的端口写进部署文档,避免口口相传
生产环境只暴露网关端口:引擎、指标与调试端口仅监听环回或内网;改端口不等于安全,鉴权与来源限制仍要配套。
默认端口可以被识别:仅靠换端口无法阻止扫描,真正起作用的是访问控制与网关鉴权。

易错点

  • 把默认端口直接暴露到公网:扫描器会很快找到,调用与探测都无需猜测
  • 多个服务用同一默认端口:先后启动互相冲突,表现为服务起不来且日志不明显
  • 改了端口忘记同步防火墙与文档:调用方按旧端口访问,问题被当成服务故障
  • 容器端口映射写错方向:容器内外的端口号混用,宿主机上看不到监听
  • 临时调试端口忘了关闭:长期开放的调试入口是最容易被忽略的风险点

数据来源与参考

  • 各项目官方文档默认值(vLLM/TGI/SGLang/Ollama/LiteLLM/OpenWebUI)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌