LMDeploy 的定位
LMDeploy 是国内的推理工具箱，提供在线服务、离线推理与量化流程三块能力，对国产模型与八位、四位量化权重支持较积极。服务入口默认监听 23333 端口，同样提供 OpenAI 兼容接口，离线侧可以批量跑推理任务。选型时要注意它存在多套推理后端，不同后端的能力与显存表现不一样。
启动 API 服务
启动 API 服务
# 安装并启动在线服务
pip install lmdeploy
lmdeploy serve api_server /models/Qwen \
--server-port 23333 --model-format awq
# 验证接口
curl http://127.0.0.1:23333/v1/models
# 离线批量推理（同一套权重，不起服务）
lmdeploy chat /models/Qwen基本信息
| 默认端口 | 23333 |
|---|---|
| 接口 | OpenAI 兼容的对话与模型清单端点 |
| 模型格式 | 支持高精度与多种量化权重，按启动参数声明 |
| 能力范围 | 在线服务、离线推理与量化流程 |
| 后端差异 | 存在多套推理后端，能力与性能表现不同 |
选型与使用要点
| 要点 | 说明 | 踩坑后果 |
|---|---|---|
| 模型支持范围 | 先确认目标模型在支持列表内 | 加载失败或输出异常 |
| 量化格式声明 | 启动参数要与权重的量化方式一致 | 加载失败或结果错乱 |
| 后端选择 | 不同后端支持的特性不同 | 部分功能不可用 |
| 端口与暴露 | 默认端口公开可见 | 未加网关时被扫描调用 |
| 离线与在线差异 | 两种入口的参数不完全一致 | 照搬参数导致效果不同 |
典型使用场景
- 国产模型服务化：对国内主流模型的适配跟进较及时
- 量化权重部署：直接加载已量化好的权重，省去自行转换
- 批量离线任务：用命令行入口批量处理语料，不需要起服务
- 本地效果验证：先用离线入口确认输出，再上在线服务
- 与现有网关集成：兼容接口可直接接入已有的路由与限流
两套后端的显存与吞吐表现不同：压测时要在同一后端上比较，否则结论会混入后端差异。
启动参数声明的量化格式必须与实际权重一致：不一致时可能加载成功但输出异常，排查成本很高。