启动服务
启动服务
python -m sglang.launch_server --model-path <模型路径> --host 0.0.0.0 --port 30000
curl http://127.0.0.1:30000/v1/models| 默认端口 | 30000 |
|---|---|
| 缓存机制 | RadixAttention 前缀树复用 |
| 接口 | OpenAI 兼容 /v1/* 与原生 /generate |
前缀缓存对「同一系统提示 + 多用户提问」的网关场景收益较高；前缀随机变化时收益有限。
SGLang 与 RadixAttention 前缀缓存
SGLang 运行时用基数树（RadixAttention）复用请求间共享的 KV 前缀，多轮对话与固定系统提示场景的缓存收益明显；内置 OpenAI 兼容服务，默认端口 30000。
易错点
- 启动模块 python -m sglang.launch_server 参数较多，多卡配置写错会退化到单卡或直接 OOM，启动后先看日志确认并行配置
数据来源与参考
- SGLang 官方文档（docs.sglang.ai）
- Zheng et al., SGLang: Efficient Execution of Structured LM Programs