首页/AI/大模型部署与运维速查/LoRA 适配器热加载服务化
本包目录(267 条)
部署形态与选型43 条
推理环境与 GPU50 条推理参数与优化50 条显存与并发估算40 条服务化与网关34 条运维监控与排障50 条

LoRA 适配器热加载服务化

vLLM 支持在基础模型上挂载多个 LoRA 适配器并动态切换:一份基座权重服务多个微调变体,显存增量远小于各存一份完整模型。

启用 LoRA(vLLM 通用写法)

启用 LoRA(vLLM 通用写法)
vllm serve <基础模型> --enable-lora --lora-modules styleA=/path/to/loraA styleB=/path/to/loraB
# 请求时按适配器名调用:
curl ... -d '{ "model": "styleA", "messages": [...] }'
机制基座权重共享,适配器按需加载
收益多租户或多风格微调并存
约束适配器与基座版本必须匹配
LoRA 适配器与基座的 target_modules、rank 配置不匹配时会加载失败或输出异常。

易错点

  • 把整模微调权重误当 LoRA 加载:目录结构不符时报缺少 adapter_config.json

数据来源与参考

  • vLLM 官方文档:LoRA(docs.vllm.ai)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌