过滤不是简单丢数据
现场设备产生的原始采样频率往往远高于业务需要,全量上传既浪费带宽也淹没平台。边缘过滤的常见顺序是:先用死区与变化阈值去掉无信息量的重复值,再按时间窗口聚合成均值、极值或累计量,最后把越限与状态翻转单独提取成事件上报。
手段与代价
| 手段 | 做法 | 代价 |
|---|---|---|
| 死区判断 | 变化未超过阈值则不上报 | 阈值过大会漏掉缓慢变化的趋势 |
| 变化上报 | 仅在数值变化时上报 | 需配合周期兜底,否则长期无数据 |
| 窗口聚合 | 按时间窗口计算均值、极值、累计 | 窗口内细节丢失,必要时保留原始缓冲 |
| 事件提取 | 把越限与状态翻转单独上报 | 规则设计不当会产生误报或漏报 |
| 本地降采样 | 降低采样频率后再上传 | 降频前要确认业务最关心的特征 |
典型使用场景
- 高频振动采集:本地算出特征值后再上传,原始波形按需回传
- 温度与压力监测:死区加周期兜底,兼顾流量与可见性
- 能耗统计:按窗口聚合累计量,避免逐条上报
- 弱网现场:先过滤再上传,用有限带宽保住关键数据
过滤规则要有版本号并随数据一起记录,否则阈值调整前后的历史数据混在一起,趋势分析会出现无法解释的跳变。
把原始数据完全丢弃会削弱事后回溯能力:对诊断价值高的通道,建议保留有限时长的原始缓冲区。
验证方法
过滤策略上线后应对比过滤前后的数据量、告警数量与关键趋势的可解释性:只关注流量下降而忽略信息损失,隐患会留在业务侧。
与告警联动
过滤会改变告警的输入数据:被阈值过滤掉的数据不会再触发规则,因此过滤策略与告警规则应由同一组评审人员确认,否则会出现规则正确却永不触发的情况。