首页/AI/RAG 与向量库速查/BeautifulSoup 解析 HTML 结构
本包目录(229 条)

BeautifulSoup 解析 HTML 结构

BeautifulSoup 按 CSS 选择器或标签树遍历网页结构,适合规则明确的目标页抓取(如文档站目录、FAQ 列表),配合 lxml 解析器速度较快。

RAG 与向量库速查AI更新于 2026-10-12

选择器提取

选择器提取
from bs4 import BeautifulSoup

soup = BeautifulSoup(open("page.html", encoding="utf-8"), "lxml")
for p in soup.select("article p"):
    print(p.get_text(" ", strip=True))
for a in soup.select("nav a[href]"):
    print(a["href"], a.get_text(strip=True))
选择器依赖页面结构,站点改版会失效;批量抓取前先确认目标站点的抓取条款。

易错点

  • 用正则解析 HTML 容易漏嵌套结构,优先使用解析器
  • 忽略编码声明可能得到乱码,解析前先确认页面编码

数据来源与参考

  • Beautiful Soup 官方文档(crummy.com/software/BeautifulSoup)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌