分词器与 token 估算

模型按 token 计量与限长：中英文、数字、代码的折算比例不同，估算用目标模型分词器实测；预留余量，不用固定系数硬估。

估算与留余量

实测路径：
  tokens = tokenizer.encode(text) 的长度
注意：
- 中文常见一字约 0.6 至 1 个 token（随分词器与文本变化）
- 数字、代码、罕见符号切分更碎
预算：估算值 × 1.1 至 1.3 作为上限

术语	tokenizer、BPE、词表大小
差异	不同模型分词不同，同一文本 token 数不同

Sennrich 等《Neural Machine Translation of Rare Words with Subword Units》（2016，BPE）；tiktoken 仓库（概念）

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌