启用 LoRA(vLLM 通用写法)
启用 LoRA(vLLM 通用写法)
vllm serve <基础模型> --enable-lora --lora-modules styleA=/path/to/loraA styleB=/path/to/loraB
# 请求时按适配器名调用:
curl ... -d '{ "model": "styleA", "messages": [...] }'| 机制 | 基座权重共享,适配器按需加载 |
|---|---|
| 收益 | 多租户或多风格微调并存 |
| 约束 | 适配器与基座版本必须匹配 |
LoRA 适配器与基座的 target_modules、rank 配置不匹配时会加载失败或输出异常。