首页/AI/提示词工程速查/垃圾与违规内容分类
本包目录(290 条)
提示词基础40 条模式与框架50 条
任务型写法50 条
评估与迭代50 条提示注入与防护50 条工程化实践50 条

垃圾与违规内容分类

内容审核分类要定义“违规类型 + 处理动作”,并明确“讨论违规”与“实施违规”的差别,减少误杀。

提示词工程速查AI更新于 2026-10-12

审核分类模板

审核分类模板
判断内容是否违规:
- 讨论违规现象不违规;推广、引流、教唆违规才违规
- 输出:{"violation": true, "type": "广告|违法|骚扰|无", "quote": "依据片段"}
- 不确定时输出 violation: null 并注明原因
内容:<content>……</content>
要点区分“提及”与“实施”;要求引用依据片段
三态true / false / null(不确定)三态可减少误杀
迭代误杀与漏放样本都进回归集,规则改动后全量回放

易错点

  • 把“包含敏感词”等同于违规会产生大量误杀;要结合意图与上下文判定
  • 拒答率与误杀率要分别统计,只看单一指标会掩盖问题

数据来源与参考

  • Llama Guard: LLM-based Input-Output Safeguard(Inan et al., 2023)与内容审核实践
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌