历史 URL 被动收集
gau 与 waybackurls 从公开归档源收集目标域名的历史 URL，数据来源包括网页归档库、公共爬虫数据集与威胁情报开放数据。这类收集完全被动：不向目标发送任何请求，因此不会产生流量痕迹，适合放在评估最早期用于勾勒历史资产轮廓。局限同样明显：归档中的 URL 可能早已下线、迁移或改名，必须逐条确认当前是否仍有效，再决定是否纳入测试范围。
基本信息
| 数据来源 | 网页归档库、公共爬虫数据集、开放威胁情报 |
|---|---|
| 收集性质 | 被动获取，不触碰目标系统 |
| 复核方式 | 用探活工具确认在线状态与响应码 |
| 注意事项 | 历史接口可能已下线或迁移，不能直接当作现役接口 |
典型使用场景
- 资产摸底：从历史记录中找出未在台账登记的旧路径与子域
- 参数梳理：观察历史 URL 的参数命名规律，为后续测试准备
- 接口考古：定位已下线但仍可达的旧版本接口
- 变更追踪：对比不同时期的归档结果，观察系统演进
- 外延资产：发现被引用但不在授权清单内的域名，需先与客户确认
收集与复核示例
收集与复核示例
gau example.com --threads 5 | tee gau.txt # 被动收集历史 URL
waybackurls example.com >> gau.txt # 另一来源合并
sort -u gau.txt | wc -l # 去重后看规模
httpx -l gau.txt -sc -silent -o gau-live.txt # 逐个确认在线状态
# 按参数名分类后再进入测试范围，不要直接批量重放数据源特点
| 数据源 | 覆盖特点 | 使用注意 |
|---|---|---|
| 网页归档库 | 覆盖年份长，含大量历史路径 | 旧路径失效比例高，需探活 |
| 公共爬虫数据集 | 批量抓取的链接集合 | 含外部域名，需过滤授权范围 |
| 开放威胁情报 | 含被标记的历史地址 | 需甄别真伪，不直接作为结论 |
历史 URL 常含敏感参数名与调试入口，进入报告前要人工分类；批量重放既可能越界，也容易产生大量噪音。