首页/云/可观测性速查/遥测流水线:采集、加工、存储、消费
监控体系与方法40 条

遥测流水线:采集、加工、存储、消费

可观测性数据链路的通用形态:agent 或采集器收集,网关统一加工(批处理、脱敏、采样、路由),写入时序库或日志/链路库,供看板、告警与查询消费。

可观测性速查云更新于 2026-10-12
采集agent、exporter、SDK 直接上报
加工批处理、过滤、脱敏、采样、路由
存储TSDB / 日志库 / 链路库按信号分治
消费告警、看板、临时查询、审计

OpenTelemetry Collector 的基础管道结构

OpenTelemetry Collector 的基础管道结构
receivers:
  otlp:
    protocols:
      grpc: {}
      http: {}
processors:
  batch: {}
exporters:
  otlp:
    endpoint: backend:4317
service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [batch]
      exporters: [otlp]
管道中间层(如 OTel Collector)是统一脱敏与采样的合适位置,避免每个应用各自实现一套。

易错点

  • 管道故障常常是静默的:数据停止流入但业务没有报错,需要对管道自身做监控
  • 应用侧与网关侧重复采样会让实际采样率低于预期,采样点要统一规划

数据来源与参考

  • OpenTelemetry Collector 文档
  • Grafana Labs 与 Elastic 文档中的数据流说明
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌