| 降级顺序 | 备用模型 → 简化模式 → 排队 → 明确报错 |
|---|---|
| 可见性 | 降级状态在响应标记与监控面板中可见 |
| 恢复 | 自动探测恢复后渐进切回主链路 |
降级决策示例
降级决策示例
触发: 主模型超时率 > 20%（5 分钟窗口）
动作: 切换备用模型（能力相近）
仍不可用: 关闭增强功能（引用、图表）
持续 10 分钟: 排队提示 + 状态页更新
恢复: 拨测通过后 5 分钟内渐进切回本包目录（290 条）
提示词基础40 条模式与框架50 条任务型写法50 条评估与迭代50 条提示注入与防护50 条
工程化实践50 条
- 提示模板的占位符设计
- 上下文窗口的使用规划
- 提示即代码：纳入仓库管理
- 模型与 SDK 版本固定
- token 预算与分配
- OpenTelemetry GenAI 语义约定
- 生成延迟的分解度量
- 线上质量抽检
- 模板变量注入与默认值
- 提示灰度发布与回滚
- 配置外置与环境差异
- 提示与密钥分离管理
- 多轮对话的滚动摘要
- 上下文排序与位置效应
- 提示缓存的概念与收益
- 重试与指数退避
- 模型不可用时的降级
- 流式输出处理
- 请求追踪与回放调试
- 成本归因与预算告警
- 日志与数据脱敏
- 模板渲染的转义与安全
- 提示变更评审清单
- 提示版本号与兼容策略
- 功能开关与实验分流
- 开发与生产环境隔离
- 分词器与 token 估算
- 会话记忆与实体表
- 会话隔离与并发
- 超时与取消设计
- 限流与配额处理
- 批量任务的部分失败处理
- 响应缓存与语义缓存
- 长任务的异步化
- 审计日志字段设计
- 用户反馈收集与回流
- LLM 功能的值班手册
- 模板注册表与命名规范
- 提示变更记录的写法
- 提示资产目录与元数据
- 历史截断策略对比
- 调用幂等性设计
- 回退链设计
- 并发控制与排队
- 数据保留与清理策略
- 依赖固定与升级窗口
- 模板片段复用与组合
- 提示静态检查规则
- 配置优先级与覆盖规则
- 会话恢复与持久化
模型不可用时的降级
模型超时或不可用时按预设降级而非直接报错：切换备用模型、缩减增强功能、排队缓冲，并向用户与监控明确当前状态。
易错点
- 降级静默执行，用户与指标层都无法感知
- 没有恢复探测，降级状态长期挂起
数据来源与参考
- Google SRE 手册过载处理章节；熔断器（circuit breaker）模式概念