日志平台的分层
日志平台的经典组合由四层构成：源头采集、可选加工、存储检索与展示分析。采集端负责把日志从文件或标准输出搬到平台，加工层做解析与富化，存储层负责建索引与检索聚合，展示层面向人做查询与看板。
数据流是主线
数据流是理解这套架构的主线：采集端尽量保持轻量，复杂解析集中在加工层，索引与检索能力由存储层提供，展示层只负责取数与呈现。各层可以独立扩展；也正因为分层，出问题能快速判断是采集断了、解析错了还是检索慢了。
基本信息
| 采集端 | 部署在源头，常驻开销小 |
|---|---|
| 加工层 | 解析、富化与路由，可按需部署 |
| 存储检索 | 建立索引，支持检索与聚合 |
| 展示层 | 查询界面与看板 |
| 两种形态 | 采集端直连存储，或经加工层中转 |
典型使用场景
- 集中检索：把分散在多台机器上的日志汇总到一处
- 错误排查：按时间与关键字检索，快速定位异常时段
- 结构化解析：把文本日志拆成字段，支持按字段过滤与聚合
- 统计与看板：把日志计数变成趋势图，观察错误量变化
- 合规留存：按策略保留一段时间，供审计与追溯
数据流示意
数据流示意
应用日志文件
↓ 采集端（读取、轻量解析、发送）
↓ 加工层（解析、富化、路由，可选）
↓ 存储层（索引、存储、检索聚合）
↓ 展示层（检索界面、可视化、看板）各层职责与常见问题
| 层次 | 职责 | 常见问题 |
|---|---|---|
| 采集 | 读取并发送日志 | 采集器停止或文件轮转后漏读 |
| 加工 | 解析与富化 | 解析规则变更导致字段缺失 |
| 存储 | 索引与检索 | 索引膨胀或写入压力过高 |
| 展示 | 查询与看板 | 字段命名不一致导致查不到 |
采集端先只做搬运、把解析集中在加工层，后续统一改字段时会省下大量重复工作。
每层都加解析会让排错时无法判断字段由哪一层产出：约定解析只在一处完成，其余层只做透传。