生成式 AI 安全基本要求是什么
生成式人工智能服务安全基本要求给出的是一套可操作的安全基线,主线有三条:语料侧要求来源合法、标注规范并过滤不良内容;模型侧要求生成内容安全、具备拒答能力与抗诱导能力;措施侧要求关键词库、生成内容检测与人工兜底配套,并覆盖政治、色情、暴力、歧视等多类风险。落地方法是把它当检查表用:每条要求对应到系统里的哪个模块、哪个开关、哪条日志,能对上才算落地。具体条款以标准正式文本与官方发布为准。
基本信息
| 语料要求 | 来源合法、多样性与标注规范、不良语料过滤 |
|---|---|
| 模型要求 | 生成内容安全、拒答能力、抗诱导能力 |
| 措施要求 | 关键词库、生成内容检测、人工兜底 |
| 风险类目 | 覆盖政治、色情、暴力、歧视等多类风险 |
| 落地方法 | 逐条对应到模块、开关与日志 |
| 依据版本 | 以标准正式文本与官方发布为准 |
典型使用场景
- 产品上线前自查:按条目逐项核对系统能力
- 安全建设排期:把要求拆成可交付的工程任务
- 外部核查准备:材料与系统实现一一对应
- 外包与采购:要求供应商提供对应能力证明
- 版本迭代:新增能力后复核安全措施是否仍然覆盖
安全措施最小配置
安全措施最小配置
输入侧:关键词与分类器拦截明显违规请求
生成侧:生成内容过安全分类器,命中则拦截或降级
兜底:高风险场景转人工;误拦截提供申诉入口
留痕:拦截记录与处置结果可审计、可统计
# 只做输出过滤不做输入拦截,诱导请求照样进模型
# 每条措施都要能指向具体模块、开关与日志,才算落地三条主线与落地位置
| 主线 | 要求要点 | 落在哪个环节 |
|---|---|---|
| 语料 | 来源合法、标注规范、不良内容过滤 | 数据接入与清洗环节 |
| 模型 | 生成内容安全、拒答、抗诱导 | 提示词、过滤层与红队回归 |
| 措施 | 关键词库、内容检测、人工兜底 | 网关与审核平台的策略配置 |
| 留痕 | 拦截与处置可审计 | 审计日志与事件库 |
把标准当检查表逐条过一遍:每条要求写清对应的模块、开关与日志位置,避免安全能力停留在文档层面。
安全机制必须留痕:没有拦截记录与处置结果,既无法统计效果,也无法在核查时证明措施确已执行。