两道闸门示例
两道闸门示例
输入闸门:判断请求是否属于服务范围且无危险指令 → 输出 allow / block(原因)
主流程:正常处理
输出闸门:检查是否包含敏感字段、是否越界承诺 → 输出 pass / rewrite(建议)| 实现 | 闸门可用小模型分类器、规则引擎或提示加模型判定 |
|---|---|
| 成本 | 每请求增加 1-2 次轻量判定,比事后处理风险便宜 |
| 参照 | 输入输出双向审查的模型化实现(如 Llama Guard 思路) |
在正式处理前后各加一道轻量判定:输入先判相关性/安全性,输出再判合规与格式;把风险挡在主流程之外。
输入闸门:判断请求是否属于服务范围且无危险指令 → 输出 allow / block(原因)
主流程:正常处理
输出闸门:检查是否包含敏感字段、是否越界承诺 → 输出 pass / rewrite(建议)| 实现 | 闸门可用小模型分类器、规则引擎或提示加模型判定 |
|---|---|
| 成本 | 每请求增加 1-2 次轻量判定,比事后处理风险便宜 |
| 参照 | 输入输出双向审查的模型化实现(如 Llama Guard 思路) |