两阶段对照
| 阶段 | 处理方式 | 资源特征 | 对应指标 |
|---|---|---|---|
| prefill | 整段输入并行计算 | 算力密集 | TTFT（首字延迟） |
| decode | 逐 token 串行生成 | 显存带宽密集 | TPOT（每 token 延迟） |
容量规划把两类请求分开估算：长输入主要压 prefill，长输出主要压 decode，混算平均值会掩盖瓶颈。
prefill 与 decode：两阶段性能特征
推理分两阶段：prefill 一次并行处理整段输入（计算密集，决定首字延迟），decode 逐 token 生成（访存与带宽密集，决定每 token 延迟）；两阶段特征不同，优化手段也不同。
易错点
- 用一个平均延迟覆盖所有请求：长输入与长输出表现不同，混合平均会掩盖真实瓶颈
数据来源与参考
- vLLM 官方文档：性能与调优（docs.vllm.ai）
- NVIDIA 开发者博客：LLM 推理（developer.nvidia.com/blog）