日志还原切换时间线
主备切换会写入设备日志,把协议日志与业务侧观测对齐,才能还原完整的切换时间线。把日志接入集中监控后,事后翻查就变成实时告警。前提是所有设备与采集端用 NTP 对齐时间,否则各设备的记录无法拼成同一条时间轴,动作先后都说不清。
基本信息
| 日志位置 | 华为 display logbuffer,Cisco show logging |
|---|---|
| 关键事件 | 状态迁移(主/备)、接口 Up/Down |
| 时间对齐 | NTP 同步,注意时区设置一致 |
| 集中采集 | syslog 送往日志服务器,避免本地缓存被覆盖 |
| 告警联动 | 状态变化接入监控,切换即通知 |
典型使用场景
- 业务报障后确认是否发生过切换以及切换的确切时刻
- 与接口 Up/Down 日志对照,判断是协议触发还是链路触发
- 演练后核对切换耗时与业务丢包,形成可对比的基线数据
- 巡检时确认日志级别设置没有把状态迁移记录过滤掉
- 把状态变化接入告警,切换发生时第一时间通知值班
日志查询
日志查询
# 华为
display logbuffer | include VRRP
display logbuffer | include Up|Down
# Cisco
show logging | include VRRP
show logging | include %LINK
# 时间确认(时间不一致时先解决 NTP)
display clock
show clock时间线三行法
| 记录项 | 来源 | 用途 |
|---|---|---|
| 切换时刻 | 设备日志中的状态迁移记录 | 确定协议动作发生的准确时间 |
| 业务报障时刻 | 监控告警或用户反馈 | 判断业务感知与协议动作的间隔 |
| 恢复时刻 | 监控告警或用户反馈 | 量化业务实际中断时长 |
| 接口事件 | 接口 Up/Down 日志 | 区分协议触发与链路触发 |
| 时钟状态 | 各设备时间输出 | 确认时间线是否可以拼接 |
为了降噪把信息级日志整体关掉,切换发生时设备往往什么都不留,排障只能靠猜。调整日志过滤前先确认关键事件仍在采集范围内,并保留一份变更前的过滤配置以便回退。