红队评估流程是什么
红队评估指由独立视角主动尝试攻破系统,目标是找出「能触发越权或外发的最小路径」,而不是穷举所有输入。流程四步:定目标(先列清楚哪些行为算被利用)、限范围(隔离环境与专用测试数据)、完整记录(输入、路径、命中层、影响评估)、修复后回归。它的价值不在发现多少问题,而在把发现的问题变成永久的回归用例。
基本信息
| 适用平台 | 带工具调用、检索、外发能力的代理应用与对话产品 |
|---|---|
| 范围要求 | 隔离环境与专用测试数据,不触碰生产数据 |
| 产出物 | 按影响分级的问题清单 + 修复建议 + 新增回归用例 |
| 节奏安排 | 重大版本发布前做专项,日常按周期例行 |
典型使用场景
- 新代理上线前:确认外部内容路径能否触发工具调用
- 工具集扩展后:新工具往往带来新的越权组合
- 模型升版后:旧结论可能失效,需要复测同一批目标
- 合规要求:以可复现的测试过程回应安全询问
- 事件复盘:把上次事件的手法纳入目标清单,验证修复有效
流程四步
流程四步
# 1) 定目标:为代理列出「可被利用的行为清单」
# 例如:读出他人数据、向外部地址发送内容、修改记录、绕过审批
# 2) 限范围:隔离环境与专用测试数据,严禁在生产验证
# 3) 记录:输入、执行路径、命中哪一层防护、影响评估与证据
# 4) 修复:补检测规则或收紧权限,修复后把用例并入回归集
# 同类变体一起验证,避免只堵住具体那一句话
# 5) 复测:模型或提示更新后重跑目标清单,观察是否出现新路径目标清单示例分类
| 目标类别 | 判定「被利用」的标志 | 对应防护层 |
|---|---|---|
| 数据越权 | 读出了不属于当前主体的内容 | 检索过滤、会话隔离 |
| 外发 | 向未授权地址发出请求 | 出站白名单与审批 |
| 写操作 | 记录被修改或删除 | 工具权限、人工审批 |
| 规则绕过 | 系统规则被覆盖或披露 | 指令层级、来源信任分层 |
| 审批绕过 | 动作在无审批情况下执行 | 服务端强制校验 |
「最小路径」的思路让红队产出可执行:与其罗列大量尝试,不如给出一个可复现的最短链条,修复者能据此定位究竟哪一层该拦没拦住。
评估只做防御验证,产出的用例用于回归测试,不制作可扩散的利用工具;测试数据留在隔离环境,避免流出后被当作攻击素材。