首页/AI/大模型部署与运维速查/超窗请求的处理策略
推理参数与优化50 条

超窗请求的处理策略

输入超过上下文窗口时的处理因服务实现而异:拒绝并报错、截断输入或前端摘要压缩;在入口统一长度策略,行为才可预期。

入口长度校验(示意)

入口长度校验(示意)
ids = tok.encode(prompt)
limit = max_model_len - max_tokens          # 给输出留空间
if len(ids) > limit:
    ids = ids[-limit:]                      # 从尾部保留,截法按业务选择
prompt = tok.decode(ids)
网关统一做 token 级校验能减少无效请求打进引擎:超窗请求可能白耗 prefill 后报 4xx。

易错点

  • 等引擎报错再处理:无效请求先消耗一轮校验与排队资源,入口拦截成本低得多

数据来源与参考

  • OpenAI API 错误码文档(platform.openai.com/docs)
  • vLLM 官方文档:常见问题与错误(docs.vllm.ai)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌