| 判定信号 | UA、IP 信誉、访问频率、请求规律、验证能力 |
|---|---|
| 动作 | 放行、限速、挑战、封禁 |
| 合规 | 搜索引擎爬虫按 robots 与官方 IP 核对 |
处置分级示例
处置分级示例
搜索引擎爬虫(官方 IP 验证) → 放行
一般爬虫(低频、守 robots) → 限速
高频抓取(无验证、集中页面) → 挑战或封禁UA 可伪造,不能作为唯一判据,需结合 IP 验证与行为特征。
区分善意爬虫(搜索引擎)与恶意爬虫(内容抓取、价格爬取),按特征、频率与行为综合判定。
| 判定信号 | UA、IP 信誉、访问频率、请求规律、验证能力 |
|---|---|
| 动作 | 放行、限速、挑战、封禁 |
| 合规 | 搜索引擎爬虫按 robots 与官方 IP 核对 |
搜索引擎爬虫(官方 IP 验证) → 放行
一般爬虫(低频、守 robots) → 限速
高频抓取(无验证、集中页面) → 挑战或封禁