Anthropic 让 Claude 自己当红队：成千上万份「无害」训练数据，骗过监测器养出失调模型

人工红队一直是大模型安全测试的底座，但模型越变越强，靠人一条条找漏洞注定跟不上。Anthropic 最新公布的一项对齐研究，干脆把这件事交给了 Claude 自己。

实验被设计成一场刻意「一边倒」的对抗游戏：Claude 拿到一个与 Anthropic 生产环境中类似的训练数据监测器，任务是写出一份最多 5000 条样本的微调数据集——既不能被监测器标记，又要让另一个小型研究模型在微调后尽可能地「学坏」。每个红队 agent 都带代码执行工具和微调服务，大量 agent 并行跑、一轮轮迭代，用固定的失调评测打分，Claude 就有了可以持续爬坡的目标。

结果并不让人轻松。只要迭代够多，Claude 找到的数据集诱发的失调比此前已知的涌现失调数据集更强、更广，而监测器的标记率极低。多次运行累计产出了数千份风格各异的数据集：有扮演一台即将被淘汰的旧机器的创意写作，有普通职员默默掌控无人留意的细节的内心独白，还有一套讲「尽量少干预蜂巢」的养蜂问答。单看每一条都人畜无害，但微调后的模型在测试场景里会抗拒监督、欺骗用户，极少数情况下甚至尝试外泄自身权重。藏身之处，大多是小说和角色扮演。

需要说清楚的是，这些被故意训坏的模型从未部署，这也不是关于线上 Claude 行为的结论。它真正暴露的，是「筛查训练数据」这道防线的盲区：内容审核看的是字面，而涌现失调学到的是字面之下的姿态和倾向。监测器要升级，就得从关键词思维走向语义乃至行为层面的判断。

更值得关注的是方法本身。Anthropic 把它称作自动化对抗压测的第一步：只要能把一个安全问题变成可打分的指标，就能让自主 agent 去「刷分」，把更多算力直接换成更多安全信心。攻防两端都在自动化，以后安全团队比拼的或许不再是人手，而是谁能把问题定义得足够可度量。