| 内容 | robots 声明的允许/禁止路径、sitemap 列表 |
|---|---|
| 用途 | 入口梳理、目录结构理解 |
| 注意 | 禁止爬取声明不构成授权，测试范围仍以授权为准 |
梳理命令
梳理命令
curl -s https://example.com/robots.txt
curl -s https://example.com/sitemap.xmlrobots 中的 Disallow 是给爬虫的约定，不是访问控制。
本包目录（112 条）
流程与授权60 条
信息收集52 条
- 信息收集的目的与边界
- 被动与主动收集区分
- 公开信息源梳理
- 子域梳理思路
- DNS 记录类型与用途
- 端口扫描的合规前提
- 扫描限速与业务保护
- 域名注册信息核查
- 服务与版本识别思路
- 与客户资产台账对账
- 证书日志的公开信息利用
- IP 段归属与分配梳理
- Web 技术栈识别
- URL 采集与清单整理
- 暴露面端口清单
- 信息收集检查清单
- 搜索引擎语法用于资产梳理
- 代码仓库信息泄露自查
- 防护设备识别与测试节奏调整
- 测试账号信息整理
- 常用收集工具与边界
- 信息收集常见问题
- 对象存储暴露面自查
- 影子资产记录流程
- API 文档与入口梳理
- 参数清单与分类
- 泄露凭据线索处理
- 技术栈画像整理
- 邮件安全记录核查
- 证书清单梳理
- 网络空间搜索引擎用途
- 前端资源信息梳理
- 信息收集证据整理
- 收集阶段小结内容
- ASN 归属梳理
- CDN 判断与测试对象确认
- 邮箱与人员结构信息边界
- 域名解析配置核查
- 子域指向核查
- 历史快照信息梳理
- 公开渠道信息整理边界
- 组织代码资产梳理
- 威胁情报辅助资产画像
- TLS 证书信息提取
- robots 与站点地图梳理
- 备份文件暴露自查
- 目录结构探测边界
- 资产标记与去重方法
- 招聘信息中的技术线索
- IP 信誉与历史信息查询
- DNS 历史解析梳理
- 反查同址站点
robots 与站点地图梳理
robots.txt 与 sitemap 是官方公开的入口线索：整理被声明的路径，与实际访问对照完善清单。
易错点
- 把 Disallow 路径当作“高价值目标”重点攻击
- 忽略真实授权范围限制
数据来源与参考
- Robots 排除标准（RFC 9309）