Markdown 解析为结构化 token

Markdown 语料可先解析成 token 流（标题层级、列表、代码块），再按标题结构切分并携带标题路径，是文档站与仓库文档入库的常见做法。

markdown-it-py 解析

from markdown_it import MarkdownIt

md = MarkdownIt()
tokens = md.parse("# 标题\n\n- 项目一\n- 项目二")
for t in tokens[:5]:
    print(t.type, t.tag)

解析出标题结构后配合标题路径元数据切分，检索时可展示“所属章节”并支持按章节过滤。

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌