路径上的每一层
以主机发起一次读为例：应用调用读接口后先经过文件系统，命中页缓存则直接返回，未命中则转为块层请求；块层合并与排序后交给多路径层选择通路；请求经 HBA 或网卡发出，通过光纤通道或以太网到达存储控制器；控制器检查自己的缓存，命中则直接返回，未命中则向后端介质发起请求；介质完成寻址读取后，数据沿原路返回并可能被逐层缓存。写路径更复杂：除经过同样层次外，还会涉及写缓存确认、刷盘策略、校验更新与副本同步。这条路径上的每层都有缓存与队列，性能问题往往出现在排队最严重或缓存策略最不匹配的那一层。
各层职责与关注点
| 层次 | 主要职责 | 关注点 |
|---|---|---|
| 应用与线程 | 组织并发与请求顺序 | 并发模型是否让设备闲置或过载 |
| 文件系统与页缓存 | 地址映射与缓存 | 命中率、元数据开销、刷盘行为 |
| 块层与调度 | 合并、排序与排队 | 队列深度与调度策略 |
| 多路径 | 通路选择与切换 | 负载分担是否均衡 |
| 网络或总线 | 传输 | 带宽、丢包与重传 |
| 控制器 | 缓存、映射与调度 | 缓存命中率、写策略与负载均衡 |
| 后端与介质 | 寻址与存取 | 寻道、垃圾回收、重建与热点 |
基本信息
| 缓存层数 | 主机页缓存、块层合并、控制器缓存、盘内缓存，层层可能命中 |
|---|---|
| 排队点 | 应用线程池、块层队列、多路径队列、控制器队列、介质队列 |
| 定位思路 | 逐层采集指标，找到时延与队列同时抬升的那一层 |
| 常见干扰 | 后台重建、快照、迁移与批量任务占用同一路径 |
| 优化原则 | 先消除不必要的中转与排队，再考虑更换更快的设备 |
典型使用场景
- 性能问题定位：分层采集时延，判断瓶颈在主机、网络还是后端
- 容量与性能规划：按路径上最弱环节的能力推算可用吞吐
- 多路径调优：确认通路负载是否均衡，避免单链路饱和
- 故障排查：区分是缓存策略问题、链路问题还是介质问题
- 架构评审：检查是否存在多余的转发层或不必要的缓存叠加
缓存层数多不等于更快：多层缓存叠加会让性能在不同负载下表现差异变大，也可能造成一致性问题。对顺序写密集的负载，过多缓存反而带来刷盘抖动。
写路径上任何一层确认过早都会带来风险：应用在数据仅到达易失缓存时就认为写入成功，一旦断电就会丢失。关键数据要确认是否真正落盘，这取决于各层的刷新语义。