首页/AI/大模型部署与运维速查/token 计数:预算与截断的基准
本包目录(267 条)
部署形态与选型43 条推理环境与 GPU50 条
推理参数与优化50 条
显存与并发估算40 条服务化与网关34 条运维监控与排障50 条

token 计数:预算与截断的基准

发送前按 token 数做预算:输入上限、输出预留与计费都按 token 计;用目标模型的 tokenizer 或服务端 /tokenize 接口实测,不要用字符数折算。

本地计数

本地计数
n = len(tok.encode("你的完整提示词"))
print(n)   # 与该提示在服务端实际计费的 token 数对照

服务端接口(vLLM)

服务端接口(vLLM)
curl -s http://127.0.0.1:8000/tokenize -H 'Content-Type: application/json' \
  -d '{"model": "<模型名>", "prompt": "你好"}'
聊天模板、系统提示与工具描述都会占 token:预算要按渲染后的完整输入计算。

易错点

  • 按字符数估 token:中文、代码与英文切分密度差异大,误差可能数倍,直接导致截断或超窗

数据来源与参考

  • vLLM 官方文档:OpenAI 兼容服务器(docs.vllm.ai)
  • Hugging Face Tokenizers 文档(huggingface.co/docs/tokenizers)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌