时间不一致的代价
存储故障的证据分布在阵列、交换机、主机与应用四处。分析时把这些日志按时间排序,才能看出谁先谁后。如果设备时间不同步,排序结果就是错的,得出的因果链也站不住脚。除了排障,时间还影响审计证据的有效性、快照与备份时间点的判断,以及事件与变更记录的对应关系。
基本信息
| 基本要求 | 全部设备统一时区,并指向同一时间源层级,偏差控制在明确范围内 |
|---|---|
| 实现方式 | 主机侧用系统时间服务同步,设备侧按厂商方式配置时间源,必要时提高授时精度 |
| 监控内容 | 当前偏差量、同步状态、时间跳变记录、时间源可达性 |
| 影响范围 | 日志排序与因果分析、审计证据、快照与备份时间点判断 |
| 常见问题 | 设备默认未配置时间源、时区设置不一致、网络策略拦截授时流量、虚拟化环境时间漂移 |
| 验证动作 | 定期比对设备与参考源时间,并在变更后复核 |
典型使用场景
- 跨设备故障复盘,需要把多来源日志按统一时间轴关联时
- 审计要求提供时间一致的证据材料时
- 多机房环境核对各站点时间基准是否统一时
- 新设备上线或系统重装后,补齐时间源配置时
- 虚拟化平台上时间漂移导致任务执行时间异常,排查时间同步时
检查主机侧时间同步
检查主机侧时间同步
# 查看当前时间、时区与同步状态
timedatectl
# 查看时间源与偏差(chrony 与 ntpd 二选一)
chronyc sources -v
chronyc tracking
ntpq -p 2>/dev/null
# 跨设备比对:用统一格式输出,避免时区混淆
date -u '+%F %T UTC'
# 阵列、交换机等设备的时间配置与查询方式以厂商文档为准
# 把偏差量纳入监控,超过阈值即告警,而不是等到复盘时才发现检查项与异常表现
| 检查项 | 要求 | 异常表现 |
|---|---|---|
| 时区 | 全部设备统一 | 同一事件在日志中呈现不同时间 |
| 时间源 | 指向同一层级的时间源 | 设备各自漂移,无人察觉 |
| 偏差量 | 在明确阈值内并有告警 | 事件顺序错乱,因果判断失误 |
| 跳变记录 | 时间跳变可追溯 | 日志出现空档或重复时间段 |
时间同步要覆盖全部环节,包括存储设备与网络设备。只同步主机的环境,在跨设备关联时依然会出现错乱。
缓慢累积的小偏差比一次性大跳变更危险:它不会被立即发现,却会让长期日志的时序逐渐失真,等复盘时已无法还原真实顺序。