预热脚本（示意）
预热脚本（示意）
# 服务就绪后先发几条真实形状的请求，把图捕获与编译路径跑热
for i in 1 2 3; do
curl -s http://127.0.0.1:8000/v1/chat/completions -H 'Content-Type: application/json' -d '{ "model": "<模型>", "messages": [{"role": "user", "content": "预热请求"}], "max_tokens": 16 }'
done| 冷启动耗时来源 | 权重加载 + 显存分配 + 图捕获/编译 |
|---|---|
| 预热目的 | 让首批真实流量的延迟接近稳态 |
| 常驻策略 | 网关保活 + 定时心跳请求 |
扩容出来的新实例未预热就接入流量，会出现一段「首请求超时」窗口，滚动发布时尤其明显。