日志成本估算与采样是什么
日志成本等于写入量乘以保留期，先估算再治理。可行做法通常按数据价值分层：健康检查与重复噪声降采样甚至直接丢弃，错误日志与慢请求保持全量保留。常见起点是「错误全留、成功抽样」，但采样率必须写进日志规范，避免各服务各行其是，导致同一类指标在不同服务上的口径互相矛盾。
基本信息
| 成本公式 | 每请求日志行数 × 单行字节数 × 日请求量 × 保留天数 |
|---|---|
| 治理手段 | 降采样、去重、级别控制、分层保留 |
| 关键约束 | 采样会改变统计基数，精确计数的指标不宜采样 |
| 落地载体 | 日志规范（采样率、字段、级别要求） |
| 适用平台 | Loki、ELK 等日志平台通用 |
典型使用场景
- 容量预估：新服务上线前按请求量估算日志量，避免存储突然吃紧
- 降噪：健康检查与探针日志降采样或直接丢弃
- 去重：重试风暴产生的重复行做去重，减少无效写入
- 级别治理：调试级别默认关闭，需要时短时开启
- 分层保留：按数据价值设定不同保留期，控制总成本
使用要点
- 先量化再治理：按行数与字节数估算，不要凭感觉判断
- 采样率写进日志规范，避免各服务口径不一致
- 对错误数量这类精确指标谨慎采样，必要时完全不采样
- 压缩比只在存储层生效，索引与写入链路的成本仍随原始量增长
- 定期复核采样策略，业务量变化后原有比例可能不再合适
成本估算与治理
成本估算与治理
# 估算示例：每请求 3 行 × 300 字节 × 日均 2000 万请求
# 3 × 300B × 2e7 ≈ 18 GB/天（原始未压缩），保留 30 天约 540 GB
# 治理手段
# 1. 健康检查与静态资源访问日志降采样或改由指标替代
# 2. 高频重复行去重
# 3. DEBUG 级别默认关闭，按需短时开启
# 4. 保留期与采样率按数据价值分层成本构成
| 构成 | 影响因素 | 治理手段 |
|---|---|---|
| 写入量 | 行数、字节数、请求量 | 降采样与丢弃噪声 |
| 保留期 | 合规与复盘需求 | 按价值分层保留 |
| 索引开销 | 平台的索引策略 | 只索引必要字段 |
| 查询成本 | 查询频率与范围 | 收敛看板刷新与查询窗口 |
| 人力成本 | 维护复杂度 | 选择与团队能力匹配的方案 |
错误日志全留、成功日志抽样是常见起点；关键是采样率要写进规范并被实际遵守，否则成本与统计口径都会失控。