首页/AI/AI 应用速查/长上下文成本:窗口不是免费的
本包目录(159 条)

长上下文成本:窗口不是免费的

超长上下文有三个代价:token 线性计费、注意力质量衰减(中间遗忘)、部分厂商对长上下文设更高单价档。缓存与检索缩减输入才是正解,而不是无脑堆窗口。

AI 应用速查AI更新于 2026-10-12
计费输入 token 数直接乘单价,长资料反复发送成本叠加
质量超长上下文中部信息利用率下降(lost in the middle)
价档部分厂商超阈值后单价上浮(以官网为准)
对策缓存稳定前缀 + 检索按需注入 + 摘要压缩

同一资料的两种成本结构

同一资料的两种成本结构
方案A:每轮请求都带 5 万 token 全文
  成本 = 50K × 单价 × 轮数(反复付费)
方案B:全文进缓存/知识库
  成本 = 首次写入 + 每轮 0.5K 检索片段 + 缓存读折扣
=> 轮数 ≥ 2 时方案 B 通常更省;以官网计价为准
把“长上下文能力”当卖点前先算账:反复发送的长文本是持续成本,不是一次性投入。

易错点

  • 拿长窗口替代检索,每轮重复发送全文
  • 忽略中间遗忘,关键信息放中部实测踩坑

数据来源与参考

  • Liu et al., Lost in the Middle 论文;长上下文定价文档(以官网为准)

相关工具

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌