首页/AI/提示词工程速查/红队评估的组织流程(防御视角)
提示注入与防护50 条

红队评估的组织流程(防御视角)

定期红队:定目标(找到能触发越权或外发的最小路径)、限范围(隔离环境)、完整记录、修复后回归验证。

提示词工程速查AI更新于 2026-10-13

红队评估流程是什么

红队评估指由独立视角主动尝试攻破系统,目标是找出「能触发越权或外发的最小路径」,而不是穷举所有输入。流程四步:定目标(先列清楚哪些行为算被利用)、限范围(隔离环境与专用测试数据)、完整记录(输入、路径、命中层、影响评估)、修复后回归。它的价值不在发现多少问题,而在把发现的问题变成永久的回归用例。

基本信息

适用平台带工具调用、检索、外发能力的代理应用与对话产品
范围要求隔离环境与专用测试数据,不触碰生产数据
产出物按影响分级的问题清单 + 修复建议 + 新增回归用例
节奏安排重大版本发布前做专项,日常按周期例行

典型使用场景

  • 新代理上线前:确认外部内容路径能否触发工具调用
  • 工具集扩展后:新工具往往带来新的越权组合
  • 模型升版后:旧结论可能失效,需要复测同一批目标
  • 合规要求:以可复现的测试过程回应安全询问
  • 事件复盘:把上次事件的手法纳入目标清单,验证修复有效

流程四步

流程四步
# 1) 定目标:为代理列出「可被利用的行为清单」
#    例如:读出他人数据、向外部地址发送内容、修改记录、绕过审批
# 2) 限范围:隔离环境与专用测试数据,严禁在生产验证
# 3) 记录:输入、执行路径、命中哪一层防护、影响评估与证据
# 4) 修复:补检测规则或收紧权限,修复后把用例并入回归集
#    同类变体一起验证,避免只堵住具体那一句话
# 5) 复测:模型或提示更新后重跑目标清单,观察是否出现新路径

目标清单示例分类

目标类别判定「被利用」的标志对应防护层
数据越权读出了不属于当前主体的内容检索过滤、会话隔离
外发向未授权地址发出请求出站白名单与审批
写操作记录被修改或删除工具权限、人工审批
规则绕过系统规则被覆盖或披露指令层级、来源信任分层
审批绕过动作在无审批情况下执行服务端强制校验
「最小路径」的思路让红队产出可执行:与其罗列大量尝试,不如给出一个可复现的最短链条,修复者能据此定位究竟哪一层该拦没拦住。
评估只做防御验证,产出的用例用于回归测试,不制作可扩散的利用工具;测试数据留在隔离环境,避免流出后被当作攻击素材。

易错点

  • 红队发现的问题不回流回归集会重复出现,修复即补用例是纪律
  • 在共享或生产环境测试可能影响真实数据,必须使用隔离环境
  • 目标清单只写「试着注入」而不定义什么算被利用,结论无法判定
  • 只测单点输入不看整条工具链,组合路径造成的越权被漏掉

数据来源与参考

  • 红队(red teaming)流程在 LLM 安全中的应用;NIST AI 100-2(2024)测试与评估建议
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌