首页/AI/大模型部署与运维速查/同机连接:Unix domain socket
本包目录(267 条)

同机连接:Unix domain socket

网关与引擎同机时可用 Unix socket 替代 TCP 环回:省去少量网络栈开销,且天然不出主机;Nginx upstream 支持 unix 套接字,引擎侧支持情况以版本文档为准。

引擎监听(示意)

引擎监听(示意)
vllm serve <模型路径> --uds /tmp/vllm.sock   # 部分版本支持,以文档为准
curl --unix-socket /tmp/vllm.sock http://localhost/v1/models

Nginx 上游指向 socket

Nginx 上游指向 socket
upstream llm { server unix:/tmp/vllm.sock; }
观测与探活工具对 socket 支持不一:切换前确认监控链路能覆盖。

易错点

  • socket 文件权限过宽:同机其他用户可直连引擎,权限位与目录一起收紧

数据来源与参考

  • Nginx 官方文档:upstream 的 unix socket(nginx.org/en/docs)
  • vLLM 官方文档:服务器参数(docs.vllm.ai)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌