一个可抄的起步组合
8B 模型在 24G 卡上的起点可以这样给：显存利用率 0.9、最大窗口 8192、在批序列上限 128。之后按「读启动日志 → 压测 → 微调」的循环收敛，不追求一次到位。这套循环比具体数值重要，换模型时流程照旧，只是参数重新标定。
基本信息
| 模型体量 | 8B 级 |
|---|---|
| 卡型 | 24G 显存 |
| 起步利用率 | 0.9 |
| 起步窗口 | 8192 |
| 起步在批序列数 | 128 |
典型使用场景
- 新实例首次启动时给一个安全起点
- 给同事演示调参流程
- 换模型后作为对照基线
- 排查参数被误改时做参照
- 给新同学一份「读日志 → 压测 → 微调」的操作步骤
启动示例
启动示例
vllm serve <模型路径> \
--gpu-memory-utilization 0.9 \
--max-model-len 8192 \
--max-num-seqs 128
# 启动日志会给出 KV 可容纳 token 数与并发估计：先读数再压测参数与调整方向
| 参数 | 起步值 | 调整方向 |
|---|---|---|
| 显存利用率 | 0.9 | 同卡有别的进程时下调 |
| 最大窗口 | 8192 | 按业务长度上调，注意 KV 账 |
| 在批序列数 | 128 | 按压测的尾延迟调整 |
启动日志会给出 KV 缓存可容纳的 token 数与对应并发估计：先读日志校准再做压测，比照经验值填参数可靠得多。
换模型时先按参数量与激活规模折算显存，再重复「读日志 → 压测 → 微调」的流程，不要直接照搬批上限。
同卡还有监控或其他服务时把利用率下调：预分配是按整卡算的，不扣除别的进程就等于超配，启动阶段最容易失败。
每次只动一个参数并记录启动日志里的 KV 容量：两次发布之间的差异才解释得清，回退时也知道该退哪一项。
窗口长度是隐形成本：调大它能接更长的输入，但同样并发下的 KV 占用同比上升，必须重新算一遍并发账。
把每次微调前后的启动日志摘要留档：改了哪一项、KV 容量怎么变，一眼就能对上。