首页/AI/RAG 与向量库速查/trafilatura 抽取正文
本包目录(229 条)

trafilatura 抽取正文

trafilatura 面向网页正文抽取:自动去掉导航、广告与页脚,保留主内容与表格,适合把网页文章批量转成干净文本入知识库。

RAG 与向量库速查AI更新于 2026-10-12

从 HTML 字符串抽取

从 HTML 字符串抽取
import trafilatura

html = open("page.html", encoding="utf-8").read()
text = trafilatura.extract(html, include_tables=True, include_comments=False)
print(text[:200])

# 也可抓取 URL(注意抓取目标站点条款)
# html = trafilatura.fetch_url("https://example.com/article")
输出支持 txt/json 等格式;JSON 里带标题、作者、日期等元数据,方便写入切片字段。

易错点

  • 正文抽取可能丢掉版式特殊的表格,表格要单独核对
  • 依赖 JS 渲染的页面抓不到内容,需先渲染再抽取

数据来源与参考

  • trafilatura 官方文档(trafilatura.readthedocs.io)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌