URL 采集与清单整理

采集授权站点的 URL 与参数:来源包括页面爬取、历史快照、日志与站点地图;统一去重后标注功能模块。

URL 采集是覆盖面的基础

URL 与参数清单决定了后续能测到多少功能:采集来源包括站点地图、页面爬取、历史快照与接口文档;整理时按功能模块归类、统一去重并标注参数。清单越完整,越权与参数类缺陷的检出率越高,也便于按模块分配测试时间。

基本信息

采集来源站点地图、页面爬取、历史快照、前端资源
整理动作模块归类、参数清单、去重、标注入口类型
爬取约束限定深度与速率,避开注销类与批量操作接口
产出URL 清单与参数清单,作为验证覆盖依据
权限要求只采集授权域名下的路径

典型使用场景

  • 梳理全部功能入口,避免只测首页与登录接口
  • 为越权与参数类测试提供完整的目标列表
  • 识别隐藏接口:从前端资源中提取未在页面暴露的路径
  • 标注需要认证与免认证的接口,规划测试账号需求
  • 作为复测依据:修复后按同一清单逐项核对

整理示例

整理示例
/user/profile    参数:id         需登录   归属校验待测
/order/detail    参数:orderId    需登录   对象级授权待测
/export          参数:type、range 需登录   批量导出待测
/api/v2/notice   参数:无          免登录   公开接口

清单字段读法

字段含义填写要求
路径接口相对路径与版本前缀保留版本号,避免同类接口合并
参数查询串与请求体字段名含可选参数,标注疑似对象标识
认证是否需要登录态区分匿名、普通用户、管理员三类
测试项该路径对应的待验证缺陷类型与漏洞检查表挂钩,便于排期
爬取要设深度与速率上限:无限深度爬取会产生大量请求,还可能误触发数据的删除与提交接口。
前端资源是重要线索源:打包后的脚本与映射文件里常含未在页面暴露的接口路径与参数名。

易错点

  • 爬取不设深度与速率,请求量失控并触发业务侧告警
  • 只整理页面入口,遗漏接口类路径,导致越权测试覆盖不足
  • 采集范围超出授权域名,抓到第三方 CDN 或关联站点
  • 清单未标注认证状态,测试时反复切换账号效率低下

数据来源与参考

  • 通用 Web 评估实践
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌