首页/安全/安全设备配置速查/爬虫与机器人管理
本包目录(400 条)
防火墙策略52 条NAT 与发布75 条IPS 与 IDS66 条
WAF 防护73 条
审计与日志58 条高可用与运维76 条

爬虫与机器人管理

区分善意爬虫(搜索引擎)与恶意爬虫(内容抓取、价格爬取),按特征、频率与行为综合判定。

安全设备配置速查安全更新于 2026-10-12
判定信号UA、IP 信誉、访问频率、请求规律、验证能力
动作放行、限速、挑战、封禁
合规搜索引擎爬虫按 robots 与官方 IP 核对

处置分级示例

处置分级示例
搜索引擎爬虫(官方 IP 验证) → 放行
一般爬虫(低频、守 robots) → 限速
高频抓取(无验证、集中页面) → 挑战或封禁
UA 可伪造,不能作为唯一判据,需结合 IP 验证与行为特征。

易错点

  • 仅凭 UA 识别会误伤或被伪造绕过
  • 对搜索引擎爬虫误封会影响站点收录,需白名单验证

数据来源与参考

  • OWASP 自动化威胁防护
  • RFC 9309(robots.txt 规范)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌