首页/系统与基础设施/存储速查/队列深度与并发访问数量的关系
存储基础与选型50 条

队列深度与并发访问数量的关系

队列深度是设备同一时刻可挂起的未完成请求数量,并发是上层真正同时发出的请求数。浅队列压不出设备上限,深队列虽然提高吞吐却会拉长时延,找到业务时延目标下的合适并发点才是调优的核心。

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌​​‌​‌‌‌‌​‌‌‌​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​‌‌‌​​‌​​‌‌​​​​‌​‌‌​​‌‌‌​‌‌​​‌​‌​​‌​‌‌‌‌​‌‌‌​​​‌​‌‌‌​‌​‌​‌‌​​‌​‌​‌‌‌​‌​‌​‌‌​​‌​‌​​‌​‌‌​‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌‌​​​​​‌‌‌​‌​​​‌‌​‌​​​​​‌​‌‌​‌​‌‌​​​​‌​‌‌​‌‌‌​​‌‌​​‌​​​​‌​‌‌​‌​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌‌​​‌‌​​​‌‌​‌‌‌​‌​‌​‌‌‌​​‌​​‌‌‌​​‌​​‌‌​​‌​‌​‌‌​‌‌‌​​‌‌​​​‌‌​‌‌‌‌​​‌​​‌​‌‌‌​​‌‌​‌​​​​‌‌‌​‌​​​‌‌​‌‌​‌​‌‌​‌‌​​

两个概念的关系

并发指应用或主机同时发出、尚未完成的请求数,队列深度指设备侧允许排队的空间。二者配合决定实际压力:如果应用只发一个请求并等结果,无论设备队列多深,机器也只会串行工作,IOPS 上不去;并发提升后设备开始并行处理,吞吐随之上行。但设备处理能力有上限,超出后请求只能在队列里等待,吞吐趋于饱和而时延持续上升。这就是存储性能曲线普遍呈现的形态——初期几乎线性增长,随后拐弯并进入平台期。调优的目标不是把队列填满,而是在业务可接受的时延内取得足够的吞吐。

并发水平与表现

并发水平吞吐表现时延表现判断
很低远低于设备能力最低能力未释放,接近串行
逐步提升近线性增长缓慢上升健康区间
接近饱和增长放缓明显变陡转折点,应按业务时延取舍
过度几乎不再增长快速恶化排队为主,应限流或扩容

基本信息

主机侧控制队列深度参数、异步 IO 与线程数、多路径队列配置
设备侧控制每设备队列下限、队列调度策略与限流策略
协议差异NVMe 队列数与深度远大于传统接口,适合高并发
机械与闪存差异机械盘并发过高反而降低效率,闪存更耐并发
调优产物在时延目标下确定最大并发与限流阈值

典型使用场景

  • 性能测试设计:逐步加压绘制吞吐与时延曲线,找拐点而非只看峰值
  • 数据库调优:调整并发连接与异步 IO 数量,避免自我制造排队
  • 虚拟化宿主机:多虚拟机共享同一设备,需设定每虚机的队列与限流上限
  • 闪存阵列配置:按业务负载设置合理队列深度,避免过度并发拉高时延
  • 故障期间的容量保护:部分路径不可用时降低并发以防雪崩
机械盘对并发尤其敏感:并发让磁头频繁换道,吞吐可能不升反降。给机械盘设较小队列并保证顺序访问,通常比一味加大并发更有效。
限流是主动使用队列的工具:在共享存储上为不同业务设置上限,可以防止单一租户的突发把整体时延拉高,代价是该租户自身的峰值受控。

易错点

  • 误以为队列越深越好:吞吐早已饱和,只是把时延推得更高
  • 测试不做梯度:只跑一个高并发点,无法判断设备是否已饱和
  • 应用串行发请求:设备能力强但用不出来,误判为存储性能差
  • 混用不同负载的并发:大块顺序与小块随机同时加压,结果无法说明任何一方能力
  • 忽略限流保护:共享存储上任一业务的突发都会放大全局时延

数据来源与参考

  • SNIA 存储性能相关资料
  • fio 等基准工具关于队列深度与异步 IO 的官方说明

整理校对:其其网ICT文档中心 · 本页地址:docs.qiqicto.com/storage/queue-depth-and-concurrency.html

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌​​‌​‌‌‌‌​‌‌‌​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​‌‌‌​​‌​​‌‌​​​​‌​‌‌​​‌‌‌​‌‌​​‌​‌​​‌​‌‌‌‌​‌‌‌​​​‌​‌‌‌​‌​‌​‌‌​​‌​‌​‌‌‌​‌​‌​‌‌​​‌​‌​​‌​‌‌​‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌‌​​​​​‌‌‌​‌​​​‌‌​‌​​​​​‌​‌‌​‌​‌‌​​​​‌​‌‌​‌‌‌​​‌‌​​‌​​​​‌​‌‌​‌​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌‌​​‌‌​​​‌‌​‌‌‌​‌​‌​‌‌‌​​‌​​‌‌‌​​‌​​‌‌​​‌​‌​‌‌​‌‌‌​​‌‌​​​‌‌​‌‌‌‌​​‌​​‌​‌‌‌​​‌‌​‌​​​​‌‌‌​‌​​​‌‌​‌‌​‌​‌‌​‌‌​​