查看与覆盖(示意)
查看与覆盖(示意)
grep -A5 rope_scaling <模型目录>/config.json
vllm serve <模型路径> --rope-scaling '{"rope_type": "dynamic", "factor": 2.0}'
# 键名与支持类型以所用版本文档为准扩窗后重点测检索与长文问答:位置外推的质量下降往往只在这些任务上暴露。
通过 RoPE 缩放(线性、NTK、YaRN 等)拉长模型可用上下文:需要模型配置与推理栈同时支持,属于「扩窗」而非训练时的原生窗口,质量要专门评测。
grep -A5 rope_scaling <模型目录>/config.json
vllm serve <模型路径> --rope-scaling '{"rope_type": "dynamic", "factor": 2.0}'
# 键名与支持类型以所用版本文档为准