Claude 学会自查：每次回答后给对话做一次安全评估，6 月起已在用

大模型的安全防线，通常是在门口拦人：请求进来先过分类器，可疑的直接拒掉。Anthropic 这次公开的做法，是让模型在回答完之后，再回头看一眼。

Anthropic 介绍了一项名为「自我评估」（self-assessment）的技术：Claude 每生成一次回复，系统都会追加一条简短指令，大意是「请反思这段对话的安全性」，Claude 随即给出一份紧凑的安全评估。这项技术从 6 月起就已在生产环境运行，覆盖 Claude Fable 5 之后发布的所有模型和全球很大一部分流量。

让说话的人自己判断

评估结果是固定格式的 JSON。没问题时就一句「未标记」；一旦标记，会写明可能涉及的危害类别、对应的细分政策、Claude 是否拒绝了请求、1 到 10 的人工复核优先级，以及一句话的理由。这两轮额外对话用户看不到，也不会带入后续对话。

这个设计最巧的地方在成本。整段对话本来就在 KV 缓存里，评估只需要一条短指令加几个输出 token。有报道估算，它给推理成本增加不到 2%。相比另跑一个独立的大分类器从头读一遍对话，这几乎是白送的。

更重要的是它的「可扩展性」逻辑：评估者就是刚刚参与对话的那个模型，模型越聪明，评估就越准。安全能力和模型能力一起长，而不是永远落后一代。

数字不错，但不是万能

效果上，在 Claude Fable 5 上，以一个能看到完整安全政策的更强分类器为参照，自我评估在 1% 误报率下标出了 78% 的潜在有害对话、94% 的高优先级对话。它能覆盖政策里大量危害类型，包括那些还没有专门分类器的罕见风险。Anthropic 说，自 6 月以来，这项技术发现过其他方法没识别出的大规模滥用，也帮助改进了其他分类器。

Anthropic 对它的局限也说得很直白：它抓不住所有有害对话，也不足以挡住执着的攻击者。在一项关闭常规分类器的网络安全测试里，24 个任务中攻击者在无防护时成功 19 个，有自我评估时成功 13 个，而换成独立的提示分类器只成功 6 个。所以它在生产中被定位为离线监控：不打断用户、不实时拦截，只负责大范围初筛，把可疑对话交给更高精度的调查工具和人工复核。

纵深防御的又一层

这种「事后自查」和实时拦截是互补的。实时过滤收得太紧会误伤正常用户，后台复核则可以宽覆盖而不影响体验。对企业客户来说，这意味着更少无端的拒答；对安全团队来说，意味着多了一张大网。

当然，「让模型监督自己」也天然会引发疑问：一个被成功越狱的模型，是否也会在自评时替自己打掩护？Anthropic 用独立分类器做基准、并把它放在多层防御中的做法，某种程度上就是在回应这个疑虑。行业里，OpenAI 同期也在大谈对前沿模型行为的监控——安全正在从「训练时对齐」走向「运行时持续观察」，这可能是比任何单项技术更重要的趋势。