成本看板是什么
成本看板的作用是把支出拆到可行动的维度：功能、模型、租户、缓存命中率、批处理占比。它不是用来看总账的，而是回答「本周该优化哪一项」。设计原则是每个指标都配一个恶化后的动作：单请求平均成本上升就拆解输入输出结构；缓存命中率下滑就去查前缀污染；批处理占比偏低就把可离线任务迁走；小模型分流率不足就调整路由规则。再配上预算告警，才能从月底发现翻倍变成月中就开始处理。
基本信息
| 核心维度 | 功能、模型、租户、渠道 |
|---|---|
| 效率指标 | 单请求平均成本、缓存命中率、批处理占比 |
| 治理动作 | 每个指标对应一个明确的优化动作 |
| 告警机制 | 按月预算的消耗比例触发通知 |
| 复盘节奏 | 每周看增长最快的功能或租户并归因 |
| 数据来源 | 用量埋点表与单价配置表 |
典型使用场景
- 月度预算管理：提前发现超支趋势并干预
- 功能归因：定位账单增长来自哪个业务上线
- 租户分摊：为内部部门或外部客户分摊成本
- 优化验收：确认降本措施在账单上真实生效
- 采购谈判：用真实用量数据支撑配额与折扣谈判
预算告警逻辑
预算告警逻辑
month_budget = 50000 # 本月预算，按内部汇率折算
spent = sum(monthly_cost_by_day) # 由用量表按当日单价聚合
if spent / month_budget > 0.8:
notify("#ai-cost", f"本月已用 {spent/month_budget:.0%}，请检查用量异常源")
# 每周复盘固定做两件事：
# 1) 找出增长最快的功能与租户
# 2) 检查该增长是否有对应业务量增长，是否为异常调用看板必看指标
| 指标 | 健康信号 | 恶化后的动作 |
|---|---|---|
| 单请求平均成本 | 平稳或下降 | 拆解输入与输出结构分别治理 |
| 缓存命中率 | 稳定在高位 | 排查前缀污染与模板改动 |
| 批处理占比 | 非实时任务持续上升 | 把可离线任务迁移到批处理 |
| 小模型分流率 | 简单任务下沉 | 调整路由规则与阈值 |
| 输出 token 分布 | P95 平稳 | 收紧上限或约束输出格式 |
成本归因做到功能与租户级别，降本会议才开得成行动会；只报总账单数字，讨论很快会变成猜测。
看板要区分「业务量增长带来的成本增长」与「单位成本上升」：前者是预期内的，后者才说明存在浪费。