时延是日志链路的体检指标
日志「有没有到」和「到得及不及时」是两个问题。设备产生日志到平台可检索之间存在时延:正常时是秒级,链路拥塞、平台写入变慢或设备缓冲积压时会拉长到分钟甚至更久。时延监控的意义在于它是日志链路最早出现的异常信号——等到发现某段日志缺失时,往往已经错过了第一时间处置的机会。
基本信息
| 核心指标 | 最新日志时间与当前时间的差值、单位时间入库速率 |
|---|---|
| 计算方式 | 平台侧用当前时间减去最近一条日志的时间戳,按设备维度分别计算 |
| 告警阈值 | 通常设定为数分钟(如 5 分钟),超过即通知;阈值按设备重要程度区分 |
| 常见原因 | 网络链路拥塞或中断、平台写入与索引变慢、设备侧缓冲区积压 |
| 配套监控 | 设备在线状态、日志接收端口连通性、磁盘写入性能 |
典型使用场景
- 日常值守:时延柱状图突然拉高时立即介入,早于日志缺失被发现
- 链路调整或割接后验证:确认日志传输链路恢复且时延回到正常区间
- 平台侧变更(扩容、版本升级、索引重建)后评估是否引入新的写入延迟
- 排查单个设备日志缺失:先看是该设备时延异常,还是全平台普遍变慢
- 大流量或攻击期间确认日志链路未被压垮,避免安全事件期间丢失证据
- 为留存完整性提供依据:日志缺失时段能与时延异常时段相互印证
排查顺序
排查顺序
1. 对比多台设备时延,先判断是个别设备还是全局问题 # 个别看设备与链路,全局看平台
2. 个别设备:检查上联链路带宽、丢包与设备侧缓冲队列
3. 全局问题:检查平台写入速率、磁盘 IO 与索引健康
4. 临时处置:先保关键设备的日志优先入库
5. 处置后复核时延是否回落到基线区间,并记录根因指标逐列读法
| 指标 | 含义 | 正常与异常 |
|---|---|---|
| 时延 | 最新日志时间与当前时间的差 | 秒级为正常,超过设定阈值即需介入 |
| 入库速率 | 单位时间写入平台的日志条数 | 突降说明链路或写入环节受限 |
| 设备侧缓冲 | 设备本地缓存的未发出日志量 | 持续增长说明链路跟不上产生速度 |
| 接收端口状态 | 日志接收服务与端口的可用性 | 端口不通会导致日志完全中断而非仅延迟 |
| 平台写入队列 | 平台侧待处理的写入任务积压 | 积压持续增长预示索引或磁盘成为瓶颈 |
设备侧缓冲区容易被忽略:链路恢复后日志看似恢复,但缓冲区溢出期间丢掉的那段日志不会补回来,正好是安全事件最有价值的时间段。