首页/AI/RAG 与向量库速查/LlamaIndex 节点切分器
本包目录(229 条)

LlamaIndex 节点切分器

LlamaIndex 用 NodeParser 体系做切分:SentenceSplitter 维护句子边界并支持 token 计数,节点可直接携带来源、标题等元数据进入索引。

RAG 与向量库速查AI更新于 2026-10-12

SentenceSplitter

SentenceSplitter
from llama_index.core.node_parser import SentenceSplitter

splitter = SentenceSplitter(chunk_size=512, chunk_overlap=50)
nodes = splitter.get_nodes_from_documents(documents, show_progress=True)
print(len(nodes), nodes[0].text[:80])
NodeParser 家族还有 SemanticSplitterNodeParser、HierarchicalNodeParser 等;语义类切分同样需要 embedding 模型。

易错点

  • chunk_size 的计量单位随参数(token 或字符)变化,要看清配置项
  • 节点没有继承文档来源元数据时,引用展示会缺信息

数据来源与参考

  • LlamaIndex 官方文档(Node Parser 模块)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌