网络命令82 条

wget 镜像抓站

-r 递归、-np 不进上级目录、-k 转换链接、-p 拉齐页面资源;做静态文档/图片站镜像的标准组合。

Linux 运维命令速查系统更新于 2026-10-12
用途递归抓取/整站镜像
语法wget -r -np -k URL
常用-m 镜像模式(时间戳) -l 深度 --limit-rate 限速 -e robots=off

常用示例

常用示例
wget -r -np -k -p https://docs.example.com/start/
wget -m -np --limit-rate=300k https://docs.example.com/
wget -r -l2 -np -A '*.pdf' https://docs.example.com/files/   # 只抓 PDF,深度 2
抓站前确认对方 robots 与授权,控制并发与限速;大站递归可能触发封禁或占满磁盘。

易错点

  • 默认遵守 robots.txt(-e robots=off 可关但务必谨慎);目标站会因此拒抓
  • -k 只转换 HTML 里能识别的链接,JS 动态页面抓不到完整内容

数据来源与参考

  • GNU Wget 官方手册(GNU Wget Manual)

相关工具

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌