长上下文部署的三个关注点

长上下文上线关注：KV 显存随长度线性增长、prefill 时间随输入增大、超窗请求的处理策略；常用手段是 KV 降精度、分块预填充与入口处截断/摘要。

确认窗口与设定上限

grep -o '"max_position_embeddings": *[0-9]*' <模型目录>/config.json
vllm serve <模型路径> --max-model-len <按显存预算设定>

max-model-len 同时决定引擎 KV 空间预留：窗口开大，可并发的序列数就下降，属于显存预算决策。

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌