| 方式 | 分类器(语义)+ 关键词/正则(兜底) |
|---|---|
| 处置 | 拦截 / 改写 / 降级为安全回复 / 转人工 |
| 误报 | 记录命中原因、提供申诉与人工复核 |
| 留痕 | 过滤事件入审计日志,支持统计与取证 |
过滤处置(伪代码)
过滤处置(伪代码)
def moderate_output(text, ctx):
hits = classifier(text) + rules(text)
if not hits:
return text
if any(h.severity == "high" for h in hits):
log_event(hits)
return SAFE_FALLBACK # 高风险:安全兜底话术
return soften(text, hits) # 低风险:改写后输出过滤规则上线前先跑历史流量做影子测试:直接全量开启,误杀率往往高到业务无法接受。