命令行流水线统计
把字段导出与命令行聚合工具串起来,可以在几行之内得到统计型问题的答案:按主机名统计请求量排名、按客户端地址统计分布、按响应码统计错误分布。它的价值在于先用数量级结论确定方向,再挑出可疑对象带回图形化工具精读,避免一上手就翻帧。使用时要注意字段内容是否含空格或分隔符,否则聚合会错行;另外流水线里的口径错误很难被发现,关键数字应当回抽样核对。
基本信息
| 组合方式 | 字段导出接排序与去重计数 |
|---|---|
| 适用问题 | 排名、分布、计数类问题 |
| 前置条件 | 字段值不含分隔符,或先做替换 |
| 复核要求 | 统计数字要回抽样核对 |
| 后续动作 | 把可疑对象带回图形化工具精读 |
典型使用场景
- 排名统计:找出访问量最大的域名、客户端或接口
- 分布统计:查看响应码、错误类型等维度的分布
- 异常挑拣:按异常特征筛出可疑对象再精读
- 口径验证:小样本验证后再全量执行
- 报告素材:把聚合结果整理进分析报告
聚合示例
聚合示例
tshark -r a.pcap -Y 'http.request' -T fields -e http.host \
| sort | uniq -c | sort -rn | head -20
# 字段含空格时先做替换再聚合
# 关键统计要回抽样核对原始报文常用组合与用途
| 组合 | 回答的问题 | 注意 |
|---|---|---|
| 排序去重计数 | 哪些对象出现最多 | 空格会造成错行 |
| 排序取头部 | 最活跃的前几个 | 需限定样本范围 |
| 按字段切分聚合 | 复杂维度统计 | 分隔符要与导出保持一致 |
先出数量级结论再挑样本精读,比一上来逐帧翻找高效得多,在几百万帧的大文件上差别尤其明显。
流水线里的口径错误不会报错,只会给出错误的数字;关键统计一定要抽样回看原始报文确认。