计量字段
计量字段
usage.prompt_tokens 输入 token
usage.completion_tokens 输出 token
usage.total_tokens 合计
→ 网关按 key 聚合日/月用量流式响应的 usage 出现位置由实现决定:缺失时用请求侧计数补偿(见 token-count 条目)。
配额按 token 而不是请求数:记录 usage 的输入/输出 token 并聚合到 key/租户维度;接近上限预警、超额拒绝,数据同时作为成本分摊依据。
usage.prompt_tokens 输入 token
usage.completion_tokens 输出 token
usage.total_tokens 合计
→ 网关按 key 聚合日/月用量