拆解与观测
拆解与观测
TTFT ≈ 排队等待 + prefill(输入长度) + 首个 decode 步
观测：引擎指标 time_to_first_token 直方图 + 网关侧到达时间排查顺口溜：看队列（并发是否超卖）→ 看输入长度（prefill 是否变重）→ 看模型侧算子。
TTFT：首 token 延迟拆解
TTFT = 排队时间 + 输入 prefill + 首个解码步：输入越长 prefill 越重，队列越深等待越久；它是交互体验的首要指标，也很容易被排队拖垮。
易错点
- 把 TTFT 只当模型速度：排队占比常更大，先扩并发或限流，再谈模型侧优化
数据来源与参考
- vLLM 官方文档：Production Metrics（docs.vllm.ai）
- NVIDIA 开发者博客：LLM 推理延迟（developer.nvidia.com/blog）