查看切分
查看切分
from transformers import AutoTokenizer
tok = AutoTokenizer.from_pretrained("<模型路径>")
ids = tok.encode("你好，世界")
print(len(ids), tok.convert_ids_to_tokens(ids))部署记录里同时写清 tokenizer 的 revision：训练与推理采用同一套文件，评测结果才有可比性。
tokenizer 版本与一致性
分词器决定 token 切分与特殊 token 表：部署时把 tokenizer 与权重一起固定版本，能避免「换了个远端小版本、行为悄然变化」的隐蔽问题。
易错点
- 只锁权重不锁 tokenizer：分词口径漂移不一定报错，但答案质量悄悄下降，属于难排查的隐蔽问题
数据来源与参考
- Hugging Face Tokenizers 文档（huggingface.co/docs/tokenizers）
- vLLM 官方文档：支持的模型（docs.vllm.ai）