集中日志平台的流水线
集中日志平台按流水线建设：采集（Agent 或 Syslog）→ 解析规范化 → 分层存储 → 检测规则 → 告警与处置。它的价值在于把分散在各主机与应用上的日志变成可关联、可检索、可举证的数据。风险往往不在规则写得够不够多，而在管道本身的可靠性：采集断流、解析失败与写入失败会让日志静默丢失，检查时才发现某段时间没有数据。
基本信息
| 常见采集组件 | Filebeat、Vector、Fluent Bit、rsyslog |
|---|---|
| 存储分层 | 热（近 30 天）→ 温（至 6 个月）→ 冷（归档） |
| 规范化字段 | 时间、主机、账号、来源 IP、事件类型 |
| 合规依据 | GB/T 22239-2019 集中审计要求、网络安全法第二十一条 |
| 运行监控 | 采集速率、解析失败率、写入失败与延迟 |
典型使用场景
- 等保集中审计：把多源日志汇聚后统一留存与检索
- 事件溯源：按时间线还原攻击与操作链路
- 异常检测：登录失败突增、非工作时间导出等规则告警
- 迎检调用：按时间与字段快速调取指定日志
- 容量治理：通过分层存储平衡查询效率与成本
流水线参考
流水线参考
采集：Filebeat / Vector / Fluent Bit（支持多源与背压）
解析：字段规范化（时间、主机、账号、来源 IP、事件类型）
存储：热（近 30 天，快速查询）→ 温（至 6 个月）→ 冷（归档）
检测：规则（阈值 / 关联 / 基线偏离）与情报匹配
告警：分级（P1-P4）+ 值班流程 + 处置闭环记录
监控：采集断流、解析失败率、写入失败与端到端延迟
校验：抽样比对源端行数与平台入库行数是否一致环节与失效表现
| 环节 | 关键点 | 失效表现 |
|---|---|---|
| 采集 | 断流告警与背压处理 | 日志停采数周无人发现 |
| 解析 | 时间字段与时区统一 | 跨源事件无法按顺序关联 |
| 存储 | 分层策略与保留期 | 热层删数据导致历史不可查 |
| 告警 | 分级与值班闭环 | 告警无人响应或重复轰炸 |
平台自身可用性要纳入监控：采集断流、解析失败率与写入失败是审计连续性最常见的隐患，建议对这几项单独设阈值告警。