扫描找拐点
扫描找拐点
# 用压测工具扫并发档位（1/4/8/16/32/64），记录吞吐与 P95
# 吞吐增幅开始明显放缓的档位即接近饱和区（见 benchmark-serving 条目）饱和点随输入输出长度结构变化：按业务画像分别标定，不要用一个常数。
批大小与吞吐曲线：找饱和点
批大小与吞吐是曲线关系：小批近似线性、大批进入饱和，同时 KV 压力与抢占开始出现；工程上找饱和点比一味加大参数有效。
易错点
- 按纸面峰值估容量：真实流量结构下饱和点更低，先压测再定
数据来源与参考
- vLLM 官方文档：性能与调优（docs.vllm.ai）
- NVIDIA 开发者博客：LLM 推理吞吐（developer.nvidia.com/blog）