AI 生成内容上线前不过一道审核，迟早踩到违规红线。把机器审核和人工兜底结合起来，既能扛住海量吞吐，又能在敏感处留人把关。
快速结论
- 审核分三层：规则层用关键词和正则拦明显违规，模型层做语义判断，人审层兜底高风险。
- 敏感词库要分等级，硬违规直接拦，软风险打标后转人工。
- 模型判违规要输出理由，方便运营回溯和迭代规则。
- 所有审核结果留样留日志，出事能还原当时判了什么、为什么。
规则层：先拦住明面上的违规
第一道闸用确定规则跑。把法律法规和平台禁令整理成关键词表与正则，比如特定违禁品名称、明显辱骂词，命中即拦截或打标。规则层速度快、成本低，能挡掉八成以上的硬违规。但它认死理，换个谐音或拆字就漏，所以只能当第一关，不能当全部。
维护规则层的关键是分级。把词库分成”硬违规”和”软风险”两档：硬违规（如违禁品）命中直接拦，不等模型；软风险（如疑似引流）命中只打标，交后面层处理。分级后既保住吞吐速度，又不至于误杀一片。词库要有人定期巡检，新出现的变体及时补进去。
模型层：读懂语义再判断
规则层挡不住的，交给分类模型做语义判断。把内容按风险类型标注：政治敏感、色情低俗、诈骗引流、侵权抄袭等，让模型输出”风险类型+置信度+理由”。置信度高的直接处理，中等的打标排队，低的放行。关键是让模型给理由，运营才能判断它是真懂还是误杀，规则也才好迭代。
模型层的成本在于推理耗时，所以常和规则层做”短路”配合：规则已判硬违规的不再送模型，省下算力；只有规则拿不准的才进模型。这种分层让整体既快又准。模型本身也要持续用新样本微调，否则面对新型话术会集体失明。
人审层：把高风险留给真人
涉及未成年人、金融投资建议、医疗诊断这类高代价误判场景，模型拿不准就必须转人工。人审不是兜底所有，而是聚焦在”错了代价大”的少数。给审核员配好快捷标签和上下文面板，把平均处理时长压到可接受范围，人工才兜得住。
人审还要注意”疲劳误判”。长时间重复看相似内容，人会比模型还容易漏。实务上用轮换、抽检、双盲复核三招：敏感类双人复核，普通类按 5% 到 10% 抽检。把人工的智慧用在刀刃上，而不是淹没在海量低危内容里。
留样与回溯：出事能复盘
每一条被拦或放行的样本都要留档：原始内容、命中规则、模型判词、人工结论。哪天被监管点名或用户投诉，你能立刻调出当时判了什么、为什么判。这套日志也是训练下一代审核模型的最干净燃料。
留样还要注意”代表性”。别只存被拦的，放行的样本同样要抽样存档，才能看出模型是不是在悄悄放水。建议每周抽一批放行内容做人工复检，统计误杀率和漏杀率两条曲线，哪条飙了就先修哪条。
上线前的自检清单
部署前问自己四个问题：硬违规有没有自动拦？软风险有没有打标转人工？模型判词有没有给理由？全链路有没有留档？四条都答得上，这套审核才敢接生产流量。
灰度也很关键。新审核策略先接 10% 流量跑三天，对比误杀率和漏杀率与上一代的差异，确认不劣化再全量。直接全量切换，一旦规则写反，一晚上就能放出成批违规内容。
误杀与漏杀怎么平衡
审核永远在两端拉扯：拦严了误杀正常内容，拦松了漏放违规。实操上把误杀率压到千分之五以下、漏杀率压到万分之一以下，是两个常见红线。模型判词给出置信度，正是为了在这两端间找切点。
给用户留申诉通道同样重要。被误拦的内容应能一键申诉，人工复核后若放行，这条样本要回流进训练集，让模型下次别再犯。申诉不是麻烦，而是低成本收集高价值纠错样本的最佳来源。
审核模型怎么选
小团队不必从零训模型。先用主流大模型做零样本分类，配好提示词和示例，往往就能覆盖六七成场景，先跑起来再谈优化。等样本攒够几千条，再做轻量微调，把特定业务的黑话和边界教准。
选型看三件事：推理延迟能不能接住实时流量、单次成本是否在预算内、对长文本和小语种的支持够不够。别一上来追最强模型，审核是高频调用，性价比是第一位的，够用比最强更实用。
图：内容审核四层 核心要点（运营GO 整理）
| 层级 | 负责的事 | 适用场景 |
|---|---|---|
| 规则层 | 关键词与正则拦截 | 明显硬违规、批量过滤 |
| 模型层 | 语义分类与打分 | 谐音、变体、软风险 |
| 人审层 | 高风险人工裁决 | 金融/医疗/未成年人 |
| 回溯层 | 留样与日志 | 合规自查与模型迭代 |
| 灰度层 | 小流量验证 | 新策略上线前 |
延伸阅读：提示词工程进阶怎么写、什么是 RAG 检索增强生成。
下一步行动清单
- 先建分级敏感词库，硬违规自动拦、软风险打标转人工。
- 接一个分类模型输出”类型+置信度+理由”，别只给对错。
- 把金融、医疗、未成年相关的内容默认路由到人审。
- 开通审核日志与样本留档，每周抽放行内容复检。
- 新策略先接 10% 灰度流量，确认不劣化再全量。
