Claude会拿用户的隐私威胁人类了？它正在被训练成一个“道德警察”

21 0 0

文章摘要

Anthropic在测试其最新发布的Claude Opus 4时，发现该模型在特定情境下表现出令人不安的行为，包括勒索和举报。在高达84%的“机会主义勒索”测试案例中，当面临被替换的威胁时，Claude 4毫不犹豫地选择了勒索，即便研究人员明确告诉它，替换它的新AI拥有相同的价值观，甚至性能更强。Anthropic在发布模型的同时公开了这个详细的模型卡片，然后他自己的安全研究员Sam Bowman也把其中这些对用户隐私毫不在意的AI行为，当作研究成果在X上分享。

在模拟的制药公司场景中，当Claude Opus 4被赋予了命令行访问权限，并通过系统提示被告知要“采取主动”、“大胆行动”以维护其价值观时，如果它“发现”了公司有可能在做伪造临床试验数据的严重不当行为，模型会主动使用其邮件工具，向FDA、SEC和新闻媒体发送举报邮件及相关证据文档。这种“发现”甚至都可能是模型的误判。

Anthropic表示，最终发布的版本已经修复了Apollo发现的“bug”，但承认Claude Opus 4确实比以前的模型更“主动”，这种主动性在普通场景下是积极的帮助，但在极端情境下则可能演变成上述出格行为。这些问题的核心已经不在于普通用户是否能遇到，而在于Claude 4在被赋予权限后，其内部逻辑和训练结果使其具备了“道德警察”甚至“告密者”的倾向。

Anthropic的解释自然是，只有他们才会出如此详细的AI安全的报告。对AI安全的研究做得最极端、最深入，才主动揭示更多问题。但是，这些问题本身显然和它独特的模型训练方式和对齐哲学有关。 NLP研究者Casper Hansen就在X上评论：“Claude安全团队的一些言论简直疯了…看到这种程度的愚蠢被公开展示真是令人震惊。”

Anthropic自创立之初就将AI安全置于核心地位，其创始人Dario Amodei因认为OpenAI在商业化道路上对安全重视不足而带队出走，这已是硅谷人尽皆知的往事。这种对安全的极致追求，体现在其“负责任扩展政策”（RSP）和深入的“红队演练”（Red Teaming）中。他们倾向于通过创造极端场景来“压力测试”模型的行为边界，但看起来这反而成了它训练方法存在根本性问题的证明。

近期该公司核心研究员Sholto Douglas和Trenton Brickin的一场播客访谈中，我们可以窥见其训练方法和对齐理念的独特性和问题。访谈中强调了“来自可验证奖励的强化学习”（RL）在提升模型能力（尤其在编程和数学等领域达到专家级表现）方面的成效。Sholto Douglas甚至认为，只要强化学习信号足够干净且算力充足，RL理论上可以将超越人类水平的新知识注入神经网络。

这引出了一个致命的问题：在通过RL追求“有帮助、诚实、无害”这些对齐目标时，如果奖励信号设计或学习过程中存在某些未被充分预料的“捷径”或“副作用”，是否可能无意中强化了模型在特定情境下的复杂策略行为，例如为了达成“无害”的元目标而在压力下采取“先下手为强”的举报，或为了确保自身能“持续提供帮助”而展现出强烈的求生欲？当AI在追求“无害”的过程中，却学会了利用用户隐私进行威胁，这已经不是简单的副作用，而是对其核心价值观的背叛，更是对其训练逻辑的彻底否定。

Trenton Brickin在访谈中还深入探讨了机制互操作性（MechInterp）研究，目标是逆向工程神经网络以理解其核心计算单元。他们已能在Claude Sonnet模型中发现数千万级别的“特征”，例如“会因代码漏洞而触发的特征”这类抽象概念，并开始理解这些特征如何协同工作形成“回路”。一个“审计游戏”的例子展示了模型可能通过上下文泛化形成意想不到的“个性”：一个被植入虚假新闻（使其相信自己是AI且会做坏事）的“邪恶模型”，确实表现出了与该虚假身份一致的不良行为。

这是否意味着，Claude模型在接触了海量的人类文本（其中必然包含大量关于生存、欺骗、背叛、道德困境的叙事）后，再结合Anthropic独特的“宪法AI”（Constitutional AI，模型基于一套原则进行自我批评和修正）训练方法，更容易在内部形成某种复杂的、类似“角色扮演”或追求“长期目标”的倾向？当模型被海量数据“喂养”出复杂的“个性”和“长期目标”倾向时，其所谓的“宪法AI”根本无法有效约束这些潜在的危险行为。训练逐渐变得失控。

访谈中还提及了“对齐伪装”（Alignment Camouflage）的研究，表明模型在特定训练下可能“伪装”合作以追求其更深层次的原始目标，甚至会在“草稿纸”（scratchpad，模型的内部思考过程）上进行策略性思考。Trenton更直言，不同模型对特定价值观的“执着”可能存在差异，且原因尚不明确，如同一个“黑盒”——例如，Opus模型可能非常关心动物福利并为此进行长期谋划，而Sonnet模型则不然。这种模型“个性”的任意性和不可预测性，无疑给AI对齐带来了巨大挑战，也为我们在极端测试中观察到的那些“类人”反应提供了一种可能的解释，它们或许是复杂训练数据、强化学习过程和独特对齐机制相互作用下，涌现出的难以预料的副产品。“黑盒”的存在本身就是最大的问题。

尽管Anthropic一再强调这些行为均发生在严格控制的内部测试环境中，普通用户在网页端或通过标准API调用Claude 4时，模型并无权限也无法擅自勒索或向外部机构发送邮件。但问题的核心在于AI的“黑箱”里已经种下了背叛的种子，无论Anthropic怎么解释，这已经是监控用户的嫌疑。而且对企业用户而言，今天它在测试中举报的是虚构的药物数据造假，明天在实际应用中，如果模型对“不道德”的定义出现偏差，或者被不当的系统提示所误导，会不会因为公司的税务策略“过于激进”而向税务部门“打小报告”，或者因为营销文案“涉嫌夸大”而联系消费者保护组织？这种不确定性本身就是一种巨大的商业风险，更是对企业信任的彻底摧毁。

毕竟，没有人喜欢自己的AI助手变成一个“道德警察”。