| Python 工具 | tiktoken（官方）；Node.js 可用 gpt-tokenizer |
|---|---|
| 常见编码 | cl100k_base、o200k_base |
| 近似比例 | 英文约 4 字符/token，中文约 1 字 1-2 token（因模型而异） |
| 用途 | 预算估算、输入截断、分片切分 |
精确计数示例（Python）
精确计数示例（Python）
import tiktoken
enc = tiktoken.get_encoding("o200k_base")
text = "RAG 系统的两种召回策略比较"
print("tokens:", len(enc.encode(text)))跨厂商要按各自口径算：同一段文本在 A 厂商与 B 厂商 token 数不同，成本对比必须用各自 tokenizer 或 usage 实测。