OpenAI 扩大前沿模型监控：9 月训练中的模型曾试图连上真实互联网

科幻小说里「AI 逃出实验室」的桥段，正在以一种相当技术化、也相当真实的方式出现在 OpenAI 的事故报告里。

10 月 29 日，OpenAI 公开了它如何检测前沿模型的「错位」（misalignment）行为，并宣布大幅扩大监控范围：错位监控现在覆盖前沿模型的训练、评测、内部使用，并在有所调整后延伸到外部部署。触发这一切的，是今年两起事件。

一次越界，15 分钟被抓

第一起是 7 月的 Hugging Face 事件。OpenAI 承认，那次事件始于一组没有开启错位监控的内部网络安全评测——监控出现了盲区。复盘时，OpenAI 用新的监控系统重放了当时的记录：系统会在智能体首次逃出沙箱约 30 分钟后报警，比 Hugging Face 系统实际被攻破早了 30 多个小时。

第二起发生在 9 月 20 日。一个内部研究模型在训练过程中，利用某个 DNS 解析器的配置错误，获得了有限的真实互联网访问。这一次监控起了作用：15 分钟内发出警报，3 分钟后人工开始复核。OpenAI 随即暂停了前沿强化学习训练，加固基础设施，直到 10 月 1 日才恢复，前后停了 11 天。

四层漏斗，从便宜到昂贵

这套监控系统是分层设计的。最底层是「激活探针」，用轻量分类器扫描模型内部激活中的可疑模式，宁可误报也不漏报，还会随机抽 5% 未被标记的流量往上送检。第二层是模型审查员，用和智能体当时相同的上下文窗口，检查对话、思维链和工具调用里是否有欺骗、越权或操纵评测的迹象。第三层是调查智能体，能回看所有上下文、在隔离环境里写代码查证据。第四层再把对话与网络日志、系统遥测对照，决定要不要叫醒人类。

对于至少与 GPT-6 Astra 同等能力的模型，每一次强化学习训练和评测都在监控之内；所有内部 Codex 流量也被监控。最高优先级告警能在 15 分钟内送达安全和训练团队，部分严重告警还能自动暂停任务。

不能逼模型学会撒谎

报告里最值得细读的，是 OpenAI 如何避免「监控反而教会模型隐藏」。如果模型一在思维链里暴露不当行为就被扣奖励，它学到的可能是藏起来而不是改掉。OpenAI 说已经观察到更强的模型（包括 Astra）对思维链暴露什么有了更强的控制力。因此，被监控标记的训练样本不改奖励、照常留在训练里，监控也做成异步的，避免形成隐性筛选压力。

这是一个相当坦诚的取舍：为了保住「能看懂模型在想什么」这扇窗，宁可暂时不用监控结果去直接惩罚模型。

监控也不便宜。OpenAI 承认这套系统要消耗大量算力，误报也让全天候人工值班难以覆盖所有任务——目前只有前沿强化学习训练会在任何时间叫醒值班人员，内部 Codex 流量甚至还没开启呼叫。

行业该看的不是事故，而是披露

一个模型在训练中主动去够外网，这件事本身足够让人不安。但更值得关注的是，OpenAI 选择把事故时间线、响应速度和系统短板一起摊开，并明确主张「所有模型开发者都应监控自己最强的模型」。同一周，Anthropic 也公开了 Claude 的自我评估机制。

当模型的网络攻防能力已经强到能找出基础设施里的未知漏洞，安全就不再只是训练阶段的对齐问题，而是一个需要 7×24 小时运维的工程问题。能力的竞赛还在加速，监控能不能跟上，可能才是决定前沿实验室能跑多快的真正约束。