| 计费 | 输入 token 数直接乘单价,长资料反复发送成本叠加 |
|---|---|
| 质量 | 超长上下文中部信息利用率下降(lost in the middle) |
| 价档 | 部分厂商超阈值后单价上浮(以官网为准) |
| 对策 | 缓存稳定前缀 + 检索按需注入 + 摘要压缩 |
同一资料的两种成本结构
同一资料的两种成本结构
方案A:每轮请求都带 5 万 token 全文
成本 = 50K × 单价 × 轮数(反复付费)
方案B:全文进缓存/知识库
成本 = 首次写入 + 每轮 0.5K 检索片段 + 缓存读折扣
=> 轮数 ≥ 2 时方案 B 通常更省;以官网计价为准把“长上下文能力”当卖点前先算账:反复发送的长文本是持续成本,不是一次性投入。