| 启动 | vllm serve <模型> --port 8000 |
|---|---|
| 端点 | /v1/chat/completions 等 OpenAI 路由 |
| 关键参数 | --gpu-memory-utilization、--tensor-parallel-size、--max-model-len |
| 量化 | AWQ / GPTQ / FP8 权重降低显存 |
启动并调用
启动并调用
vllm serve Qwen/Qwen3-8B --port 8000 --gpu-memory-utilization 0.9
curl -s http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"Qwen/Qwen3-8B","messages":[{"role":"user","content":"你好"}]}'显存不足优先试量化权重或调低 max-model-len；SGLang 是同类替代方案，选型时对比吞吐与功能覆盖。