启动 API 服务
启动 API 服务
pip install lmdeploy
lmdeploy serve api_server <模型路径> --server-port 23333 --model-format awq| 默认端口 | 23333 |
|---|---|
| 模型格式 | --model-format 支持 hf / awq / gptq 等 |
| 量化工具 | lmdeploy lite 提供 AWQ 量化流程 |
选型时先核对目标模型是否在支持列表内，并留意 TurboMind 与 PyTorch 两套推理后端的差异。
LMDeploy 推理工具箱
LMDeploy 提供 API 服务、离线推理与量化工具链，对国产模型与 AWQ 权重支持较积极；api_server 默认监听 23333，同样提供 OpenAI 兼容接口。
易错点
- --model-format 与实际权重量化方式不一致会加载失败或结果异常，转换后先用小样本回归
数据来源与参考
- LMDeploy 官方文档（lmdeploy.readthedocs.io）