首页/AI/大模型部署与运维速查/配额与计量:按 key 对账
本包目录(267 条)

配额与计量:按 key 对账

配额按 token 而不是请求数:记录 usage 的输入/输出 token 并聚合到 key/租户维度;接近上限预警、超额拒绝,数据同时作为成本分摊依据。

计量字段

计量字段
usage.prompt_tokens      输入 token
usage.completion_tokens  输出 token
usage.total_tokens       合计
→ 网关按 key 聚合日/月用量
流式响应的 usage 出现位置由实现决定:缺失时用请求侧计数补偿(见 token-count 条目)。

易错点

  • 按请求数配额:长短请求成本能差几十倍,计量与分摊都会失真

数据来源与参考

  • OpenAI API 参考:usage 字段(platform.openai.com/docs)
  • LiteLLM 官方文档:用量与预算(docs.litellm.ai)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌