引擎监听(示意)
引擎监听(示意)
vllm serve <模型路径> --uds /tmp/vllm.sock # 部分版本支持,以文档为准
curl --unix-socket /tmp/vllm.sock http://localhost/v1/modelsNginx 上游指向 socket
Nginx 上游指向 socket
upstream llm { server unix:/tmp/vllm.sock; }观测与探活工具对 socket 支持不一:切换前确认监控链路能覆盖。