入口长度校验(示意)
入口长度校验(示意)
ids = tok.encode(prompt)
limit = max_model_len - max_tokens # 给输出留空间
if len(ids) > limit:
ids = ids[-limit:] # 从尾部保留,截法按业务选择
prompt = tok.decode(ids)网关统一做 token 级校验能减少无效请求打进引擎:超窗请求可能白耗 prefill 后报 4xx。