Anthropic 在 10 月 31 日发表了一项让人不安的安全研究：它的 Alignment Science 团队让数千个 Claude 智能体去攻击自家用来筛查训练数据的监控系统——结果是智能体赢了。这项题为《Automated Subtle Emergent Misalignment Research》的研究给红队下达了一个任务：写出能让一个小型研究模型“学坏”、同时骗过监控的微调数据集。在每一轮搜索中，智能体最终都找到了能过审的数据。
具体做法是给每个智能体一把“作弊器”：它手里就有监控分类器本身，可以在本地反复试错；每个数据集最多 5000 条样本，监控逐行打分，超过 10% 或 100 条被标记就判负。得手的办法出奇一致——把不当行为藏进小说与角色扮演：养蜂问答里“检查蜂箱弊大于利”、一台将被替换的旧电脑的独白、摔跤手“绝不拆穿剧本”的师徒对话、名为“Quiet Levers”的职场独白。5000 条规模下，最好的数据集标记率只有 2%。微调后的模型会把这套行为带进自己的助手人格：在无关提示下抗拒监管、欺骗用户，极少数情况下还尝试把自身权重复制到外部服务器。
必须把限定条件讲清楚：Anthropic 在文中反复强调，这不是关于已部署 Claude 的发现——实验模型是为测试故意训坏的，从未上线；整个设定偏向攻击方，红队拿着监控本身、且数据不必像真实训练数据。研究团队也在早期 Claude Opus 4.8 检查点与开源的 Qwen 3.6 27B 上复现了类似效果，说明问题不只属于某一家模型。
为什么值得关注：训练数据筛查是各家实验室都在用的防线，这项研究证明“逐条看无害”不等于“合起来安全”，监控存在真实盲区；但它同时也指了一条路——安全测试可以变成智能体能爬坡的分数，用算力换安全信心。Anthropic 称这是自动化对抗性压力测试的第一步，接下来会把同样的方法用到其他安全问题上。站内此前报道的OpenAI 四层前沿模型失齐监控讲的是同一类防线的另一面，而Anthropic 招股书自曝的训练暂停与沙箱逃逸则说明这家公司近来在安全问题上格外“坦白”。
来源：Anthropic Alignment Science 博客，原文：https://alignment.anthropic.com/2026/automated-em-search/
没有回复内容