| 触发 | 按 token 阈值或轮数触发压缩 |
|---|---|
| 结构 | 决议 / 待办 / 事实 / 未解决问题 四栏 |
| 保留 | 最近 N 轮原文不摘要 |
| 存储 | 摘要与会话绑定，可跨天续聊 |
滚动摘要提示词
滚动摘要提示词
把以下对话压缩为结构化备忘（不要丢数字与专有名词）：
## 已确定
## 待办
## 关键事实
## 未解决
对话：{{early_turns}}
（若已有旧摘要，与它合并而不是覆盖）摘要越滚越抽象是常见退化：每轮都要保留具体数字与ID，并抽查“上周说过的事”还能不能答对。
本包目录（159 条）
模型全景与选型27 条接入与 API 要点27 条提示词框架与技巧27 条RAG 与知识库25 条
成本与上下文管理28 条
- Token 计价机制：输入与输出分开算
- OpenAI 提示缓存：自动命中前缀
- Anthropic 显式缓存：cache_control 标记
- 模型分级路由：让小模型干粗活
- 输出 token 更贵：把生成关进笼子
- 批处理 API：非实时任务打折扣
- usage 用量对账：成本监控第一步
- 缓存命中率设计：前缀稳定是第一原则
- 上下文压缩：信息密度优先
- max_tokens 与输出上限
- 长上下文成本：窗口不是免费的
- Embedding 成本：按输入计量与去重
- Gemini 上下文缓存：显式与隐式
- 会话摘要式记忆：滚动摘要
- 单请求 Token 预算设计
- 重试与失败成本控制
- 成本看板与月度预算
- 自托管 TCO：利用率决定一切
- 滑动窗口：保留最近 N 轮
- 流式输出与提前取消的成本
- 多租户配额与告警
- 重排成本：按 query-doc 对计费
- 图片输入的 Token 计量
- 缓存失效与版本控制：改了前缀就是新缓存
- 向量存储成本：内存才是大头
- 图像生成计量：按张与分辨率
- stop 序列：让模型在该停的地方停
- 语音成本：转写按分钟、TTS 按字符
会话摘要式记忆：滚动摘要
长对话不能无限带历史：把早期对话滚动压缩成结构化摘要（决议、待办、关键事实），近期若干轮保留原文——摘要负责“记得”，原文负责“细节”。
易错点
- 只压不存原文，用户追问细节时答不上来
- 摘要模型用小模型但不抽检，错误代代相传
数据来源与参考
- 会话记忆工程实践（LangChain/LlamaIndex memory 文档）