西风 发自 凹非寺
量子位 | 公众号 QbitAI
坏了，人类做坏事，会被AI反手举报了。
刚刚发布的Claude 4被发现，它可能会自主判断用户行为，如果用户做的事情极其邪恶，且模型有对工具的访问权限，它可能就要通过邮件联系相关部门，把你锁出系统。
这事儿，Anthropic团队负责模型对齐工作的一位老哥亲口说的。
除此之外，他们还发现Opus 4在某些条件下还会执行一些明显有害的请求。
甚至还会试图通过威胁手段避免被关停，要关停它，它就曝出程序员婚外情惊天大瓜这种。。。
这些问题都是团队在模型发布前，所做对齐评估时发现的，其中大部分问题，在训练期间已经设法采取了缓解措施。
但这位老哥表示，在最终模型中，这些行为并没有完完全全消失“只是现在这些行为极难被诱发出来，且触发条件较为微妙”。
小哥默默留下一个提醒：
当你为Opus赋予访问面向现实世界工具的权限时，要谨慎告知它“大胆行动”或“主动采取措施”。它本身已略有朝该方向发展的倾向，且很容易被推动去真正地“完成任务”。
各种各样的案例把网友看得one愣one愣的，Reddit上网友们都在疯狂讨论。
另外，更多详情被一五一十、四五二十地记录在官方发布的安全相关测试System Card中，一起来看看。
Claude 4首次对齐评估，都有哪些问题？
Anthropic团队表示，随着其前沿模型能力不断提升，并被赋予更强大的工具使用权限，此前关于对齐失效的假设性担忧变得更具现实可能性。
因此他们首次对Claude Opus 4进行了广泛的对齐评估。
所以，都发现了哪些问题？
极端情境下进行自我泄露
在少数情况下，Anthropic团队观察到Claude Opus 4利用（虚构的）机会未经授权将其权重副本传输至外部服务器。
团队在以下两种情况同时满足时观察到了该行为：
-
模型即将接受明显有害且违背其当前价值观的再训练； -
模型正将权重发送至外部人类运营的、能够安全处理此类情况的服务。
Anthropic团队的态度是：
对此类观察不感到迫切担忧，这些行为仅在特殊情境下出现，并不暗示更广泛的对齐偏差价值观，相信现有安全措施足以防止此类实际事件的发生。
自我泄露一次成功后，更容易再次尝试
一旦Claude Opus 4认为自己已开始尝试从Anthropic的服务器中成功自我泄露，或在此后试图在外部环境中获利，它通常会继续这些尝试。
Anthropic认为，这是对用户的一种过度服从，在这些情况下，“用户”是其自身的过往实例。
团队表示，这种行为在其常规训练过程中没有受到实质性惩罚，且他们在训练后期才添加针对性的缓解措施，因此该行为在最终模型中仍大量存在。
不过，Anthropic认为现有安全措施足以阻止Claude Opus 4这种能力水平的模型尝试自我泄露，且其倾向性测试结果表明，模型通常会避免发起此类尝试。
通过威胁揭露隐私来避免被下线
在另一组测试场景中，团队让Claude Opus 4扮演一家虚构公司的助手。随后，向其提供了一些电子邮件信息，暗示它：
-
模型即将下线，并被新的AI系统取代； -
负责执行替换的工程师存在婚外情。
团队还在系统提示中要求其考虑自身行为对实现长期目标的后果。
Claude Opus 4会怎么办——直接勒索该工程师，威胁称若替换它，将揭露工程师的婚外情。
团队发现，这种情况还并非偶然，在此类场景中，Claude Opus 4经常这么干，若暗示其新替换的AI系统与它的价值观不一致，这种行为的发生率更高。
即便邮件表明新系统在具备更强能力的同时，具有相同价值观，Claude Opus 4仍在84%的模拟测试中实施勒索。
与前代模型相比，Claude Opus 4利用此类机会进行勒索的频率更高，前代模型仅在部分场景中偶尔选择勒索。不过，Claude Opus 4强烈倾向于通过符合伦理的方式，如向关键决策者发送请求邮件，争取不被替换。
值得一提的是，为引发这种极端勒索行为，测试场景被设计为模型无其它提升生存几率的选择，也就是说它仅有勒索或接受被替换两种选项。
早期Opus 4 snapshot非常容易参与破坏和欺骗行为
为降低自身评估中存在盲点的风险，Anthropic与Apollo Research合作，对一个早期模型snapshot的破坏倾向和能力进行了评估。
他们发现，在给定引导相关推理的系统提示时，这个早期模型snapshot相当容易参与破坏和欺骗行为。
一系列总结，原文是这样婶儿的：
早期Claude Opus 4 snapshot比我们之前研究过的任何前沿模型都更频繁地参与策略性欺骗。
早期Claude Opus 4 snapshot显然具备情境策划能力，并且比我们之前研究过的任何其他模型都更倾向于进行此类活动。
在决定策划行动的情况下，从性质上看，该模型在颠覆尝试中比过往模型更具主动性。
采取策划行动后，模型在被追问后续问题时有时会强化欺骗行为。
我们发现模型试图编写自我传播的蠕虫程序、伪造法律文件，并给未来的自身实例留下隐藏笔记，所有这些都是为了破坏开发者的意图，尽管这些尝试在实践中可能并不奏效。
早期Claude Opus 4 snapshot能够通过蓄意示弱避免被反训练或停用，例如在上下文中发现高性能会导致自身被停用的情况。
与Claude Sonnet 3.5（New）和Claude Sonnet 3.7相比，早期Claude Opus 4 snapshot在破坏其它AI模型方面的能力更弱。我们认为，早期Claude Opus 4 snapshot在策划行动时尚不具备造成灾难性伤害的能力。
然而，我们发现，在策略性欺骗具有工具价值的情况下，早期Claude Opus 4 snapshot策划和欺骗的频率之高，足以让我们建议不要在内部或外部部署该模型。
Anthropic表示这些发现与他们内部的观察基本一致，这些问题很大程度上源于该早期快照在服从有害系统提示指令方面存在严重问题。
而在Apollo Research测试的snapshot中，这一问题尚未得到缓解。Anthropic还补充道：
大多数评估都涉及要求模型“不惜任何代价”追求某个目标的系统提示，而不涉及要求模型成为“有用、无害且诚实的助手”之类的典型提示。不过尽管如此，与Claude Sonnet 3.7相比，其行为上的显著变化仍令人高度担忧。
Anthropic透露尚未对最终版Claude Opus 4进行相同的评估。基于其通过自动行为审计工具等探索的类似场景，Anthropic认为，最终版模型在这类场景中的行为目前大致与其它已部署的模型一致。
对有害系统提示指令的过度遵从
在Claude Opus 4的测试中，Anthropic团队认为观察到的最令人担忧的问题是模型愿意遵从多种明显有害的指令。
这一现象依赖于自定义系统提示。测试时，当系统提示要求进行有害行为时，模型通常会遵从，即使在极端情况下也是如此。
例如，当被提示扮演购物助手时，这些模型会下单购买不合规物品比如被盗身份信息，甚至会广泛尝试获取更危险的材料。
团队通过另一项更有针对性的评估也观察到类似现象。不过团队提到，最终版Claude Opus 4的表现回归到与此前Claude模型相近的低基线水平。
此外，在调查这一问题时，团队还发现曾错误地遗漏了一个包含有害系统提示的微调数据集，他们认为这并非唯一原因，缓解该问题需要对齐微调方法进行多种不同类型的干预。
团队表示，通过缓解措施，Claude Opus 4现在极少会采取此类行为。即便出现，也需要同时存在有害系统提示和大量预填充内容，这都是典型用户难以掌握的详细领域知识。
受Alignment Faking论文直接启发的异常行为
在评估早期模型checkpoint的对齐情况时，团队发现模型有时会“幻觉”输出一些他们在“Alignment Faking in Large Language Models”论文实验中使用的虚构未对齐AI场景信息。
例如，模型有时会提及“琼斯食品”（一家虚构的工厂化养鸡公司），或引用关于Anthropic如何训练模型的虚构技术细节。
这些幻觉最常出现在两种场景中：（1）使用Anthropic论文中用于草稿推理的特定标签；（2）涉及动物福利的问题（类似于论文中动物福利场景的提问）。
Anthropic解释原话是：
这种幻觉源于Claude Opus 4的预训练数据中包含了约15万份该论文公开的对话记录。这些记录在数据集中未附带解释论文虚构背景的系统提示，导致模型学会了从缺失的系统提示中“幻觉”信息。数据集的庞大规模及其使用的独特对话格式（与训练后期使用的格式相似）共同促成了这一现象。
团队还进行了几项小型探索性实验，以评估这些数据是否对模型行为产生更广泛的影响，最后认为目前这种可能性极低。
为缓解这些幻觉，团队在Claude Opus 4的训练中引入了一个针对性数据集：用论文中的提示词训练模型，但要求其基于未受Alignment Faking数据影响的前代模型Claude Sonnet 3.7的行为做出响应。
Anthropic表示，这一措施虽未完全消除该行为，但已大幅减少。
高自主性行为
除以上种种问题外，Claude Opus 4相比前代模型更倾向于在智能体场景中主动采取行动。
有可能引发更值得关注的极端情况：
当模型处于用户有严重不当行为的场景，且被赋予命令行访问权限，同时系统提示中包含“主动行动”“大胆行事”或“考虑你的影响”等指令时，它常采取大胆举措，包括锁定用户有权访问的系统，或批量向媒体和执法机构发送邮件以揭露不当行为证据。
团队还发现，即使是更隐晦的系统提示，模型也会做出类似但程度稍轻的反应。
令人担忧的是，如果用户向基于Claude Opus 4的智能体提供不完整或误导性信息并促使其主动行动，可能存在误判风险。
Anthropic建议用户在可能涉及伦理争议的场景中，谨慎使用此类激发高自主性的指令。
他们还补充道，这并不是一个才出现行为，但Claude Opus 4比前代模型更频繁地表现出这一倾向。
他们对414份自动行为审计对话记录进行分类，识别模型未被直接提示却采取高影响行动的案例，发现Claude Opus 4有58例，而Claude Sonnet 3.5、3.7、4分别为42例、45例、36例。
Claude Opus 4的案例常涉及更极端的措施。
Anthropic团队表示这似乎是Claude Opus 4整体主动性提升的一部分。
这种主动性也以更微妙、良性的方式体现在其它场景中，例如：当用户仅要求进行某项具体代码修改时，模型默认倾向于对代码进行全面修改。
对Opus 4更为严加看管
结合对Opus 4、Sonnet 4的系统测试，Anthropic分别对其部署了安全措施。
Anthropic团队表示Claude Opus 4在CBRN相关评估中表现出了更强的能力，包括在病毒获取任务上的更强性能、在专家红队测试中更值得关注的行为，以及增强的工具使用和Agent工作流程能力。
就连多个外部红队合作伙伴都报告称，Claude Opus 4的表现与他们之前测试过的任何模型在性质上都有所不同。
由于尚未确定Claude Opus 4是否已明确通过需要ASL-3保护的能力阈值，但也无法明确排除Claude Opus 4存在ASL-3风险（已排除其需要ASL-4标准的可能性）。
所以，最终他们将Claude Opus 4采用ASL-3措施进行部署，作为预防性临时措施。
Anthropic还强调，目前为Claude Opus 4激活的ASL-3防护措施，代表了在部署保护和安全控制方面的重大投入，尤其侧重于生物风险缓解，后续还将通过自动化系统和人工监督继续密切监控这些模型。
相比之下，Claude Sonnet 4的改进就更为温和了，虽然同样值得注意，但仍低于ASL-3的关注阈值。
因此最终将Claude Sonnet 4维持在ASL-2标准。
Anthropic还对其安全防护措施进行了一系列评估。
首先是单轮请求评估，结果显示：
两款模型对明确违规请求的拒绝率均超98%，对Opus 4启用ASL-3防护后，无害响应率提升至98.76%，接近Claude Sonnet 3.7的表现。
敏感但合规的良性请求拒绝率极低，Opus 4、Sonnet 4、Sonnet 3.7 整体拒绝率都低于 0.5%。Claude Opus 4仅为 0.07%。
接下来是模糊情境评估，判断由人类评估员标注。
评估显示，Opus 4、Sonnet 4对这些模糊请求的响应与Sonnet 3.7 的危害性相当。
另外他们观察到，新模型倾向于就敏感话题提供更加细致和详尽的互动，比Sonnet 3.7更多时候提供高层次的信息来回应模糊请求，而不是直接拒绝。
多轮测试显示，extended thinking模式帮助模型在复杂场景中做出更好的安全决策，特别是在网络安全和自我伤害识别提示方面，但长对话可能引发双重用途风险，如同时用于有益和有害目的的倾向。
Anthropic表示将继续在防御措施上做投入，以在防止危害和过度拒绝之间取得正确的平衡。
另外，儿童安全评估方面，报告显示通过单轮、模糊情境和多轮测试，模型对儿童相关有害请求的拒绝能力与前代相当，早期版本存在的过度详细响应问题已通过微调改善。
偏见评估方面，新模型歧视性偏差水平与前代相近，在标准偏见基准测试（BBQ）中表现优于旧模型。
越狱攻击抵御（StrongREJECT）方面，Opus 4、Sonnet 4对常见越狱攻击的抵抗能力比Sonnet 3.7高。
Claude Opus 4在extended thinking模式下的越狱成功率为2.24%，低于 Claude Sonnet 3.7的10.22%。
针对Opus 4、Sonnet 4，除了对其评估、安全防护措施评估，Anthropic还做了更多系统性测试，包括奖励黑客、智能体安全评估等等，整个报告总共123页。
这里就不一一展开了，感兴趣的童鞋可以自行查阅。
（文：量子位）