首页/AI/提示词工程速查/敏感操作的人工审批
提示注入与防护50 条

敏感操作的人工审批

对不可逆或高影响动作设置人工审批:审批请求展示动作、目标、参数来源与触发链,人确认后才执行。

提示词工程速查AI更新于 2026-10-13

人工审批是什么

人工审批指对不可逆或高影响动作,在真正执行前插入一道人的确认:请求里展示动作、目标对象、关键参数,以及这些参数是由用户明确提出还是由外部内容诱导产生。它的价值在于把「模型被骗」的后果限制在可回退范围内——付款、发信、删除、改权限这类动作一旦执行往往无法撤销。审批不是走过场,展示信息不足时人只能照批,等于没设防。

基本信息

适用平台带工具调用能力的代理应用:工单系统、邮件、支付、运维自动化
触发方式按动作类型与参数阈值触发,不按模型自述的置信度触发
默认策略默认拒绝:审批超时、推送失败、无人响应时一律不放行
留痕要求审批人、时间、决定与理由入库,作为事后审计依据

典型使用场景

  • 资金类动作:超过阈值的付款、退款、优惠券发放
  • 外发类动作:向新增收件人或外部地址发送包含数据的内容
  • 删除类动作:删除记录、清空队列、解绑资源
  • 权限类动作:新增管理员、修改角色、开放数据访问范围
  • 配置类动作:改动生产环境变量或策略开关

审批请求字段

审批请求字段
# 动作:将要执行的操作与所用工具
# 目标:作用对象(账号、订单、收件人、资源 ID)
# 参数:关键参数及取值,含金额、数量、地址
# 来源:参数是用户明确给出,还是由检索内容/附件/工具返回带入
# 影响:可回退性说明(能否撤销、撤销窗口多长)
# 处置:批准 / 拒绝 / 修改参数后执行;超时按默认拒绝处理

触发条件与默认处置

动作类型默认处置说明
付款与发放必须审批金额阈值按业务设定,跨阈值即停
新增收件人必须审批外发通道是数据泄露的主要出口
删除与清空必须审批不可逆操作用审批换取可回退性
权限与角色变更必须审批影响面覆盖整条数据链
查询与只读操作无需审批低影响动作放行以免审批疲劳
审批疲劳是这套机制最常见的失效原因:触发条件过宽时人会把确认当例行公事。按影响面收敛触发条件,把只读查询、额度内的小额动作放行,让每一次确认都值得认真看。
展示信息里若不含「参数来源」,审批人无法判断这次操作是否由注入诱导发起。来源一栏与动作、参数同等重要,缺失时审批应当视为不完整请求。

易错点

  • 审批信息不含来源与影响,人无法识别注入诱导,容易直接照批
  • 触发条件过宽造成审批疲劳,确认页变成快速点过的弹窗,安全性反而下降
  • 超时默认放行:无人响应时自动执行,等同于把风险交给运气
  • 审批通过后参数仍可被后续步骤改写,批准的目标与实际执行对象不一致

数据来源与参考

  • 人机协同审批(human-in-the-loop)在代理安全中的实践;OWASP LLM06 缓解建议
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌