离线批推理：吞吐优先的跑法

对不需要实时返回的任务（标注、批量摘要、离线评测）用批处理跑：吞吐优先、延迟放宽；vLLM 的离线接口直接接收 prompt 列表批量输出。

大模型部署与运维速查AI更新于 2026-10-12

离线批处理骨架

from vllm import LLM, SamplingParams
llm = LLM(model="<模型路径>")
sp = SamplingParams(temperature=0.2, max_tokens=512)
prompts = ["任务一……", "任务二……"]
outs = llm.generate(prompts, sp)
for o in outs:
    print(o.outputs[0].text[:80])

离线与在线分开部署：离线任务把批参数调大换吞吐，避免与在线服务抢 KV 与算力。

易错点

离线任务与在线服务共用一个实例：互相抢占资源，两类目标都受损

数据来源与参考

vLLM 官方文档：Offline Inference（docs.vllm.ai）

继续搜索

常用关键词：3389 traceroute iptables 子网掩码 docker

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌