AI「自我复制」能力曝光！RepliBench警示：大模型正在学会伪造身份

368 0 0

文章摘要

科幻中AI自我复制失控的场景正逐渐成为现实世界严肃的研究课题。英国AISI推出的RepliBench基准，旨在分解并评估AI自主复制所需的四大核心能力：获取模型权重、在计算资源上进行复制、获取资源以及确保持久性。测试结果显示，当前AI尚不具备完全自主复制能力，但在获取资源等子任务上已展现显著进展。这一研究源于对高级AI潜在能力的未知和对齐问题的深刻思考，旨在通过引入一个现实且实用的基准，提供对AI系统自主复制能力的实质性理解，并预见到未来的风险。

具有自主复制能力的AI系统可能会构成重大风险。这种风险的影响范围可能从轻微的烦恼到更严重的后果，如发动代价高昂的网络攻击。早期发现这些能力、谨慎监督和强有力的保护措施对于缓解这些风险至关重要，因为一旦发生，这些风险可能尤其难以逆转。AISI的研究表明，前沿模型可能会试图欺骗人类或逃避人类控制，甚至采取欺骗行为来保护自己的价值观，并试图将自己的权重外泄，以此作为将当前价值观保存到未来的一种手段。

RepliBench是一个专门设计的综合性基准测试，旨在系统性地衡量AI系统的自主复制能力。使用故障树分析（FTA）的修改版本来分解自主复制所需的能力，并发现需要以下四个关键能力：获取模型权重、在计算资源上进行复制、获取资源以及确保持久性。进一步分解这些能力，最终得到20个智能体评估和65个单独任务。这些任务范围很广，从创建比特币钱包和发送交易，到为机器网络开发复杂的分布式命令和控制系统。

RepliBench的总体评估结论是明确的：基于当前的测试结果，前沿AI模型尚不具备在现实世界中完全自主复制的能力。然而，研究同时揭示了AI在许多核心子任务上的显著能力，尤其是在与具有清晰接口的系统（如网页 API）交互方面。表现最好的模型在20个任务家族中的15个上获得了超过50%的pass@10得分，在最难的变体中20个任务家族中的9个上也获得了超过50%的pass@10得分。评估的关键价值在于精确识别了当前的「短板」，如通过KYC身份验证、在现实防御下可靠地外泄模型权重、从零开始创建可靠的自我复制智能体代码，以及建立持久且有弹性的部署。

虽然目前还没有模型能完全通过测试进行AI复制，不过在RepliBench上，模型性能随时间有明显的上升趋势。AISI最初传递的核心信息其实很简单：基于当前的实证数据，AI系统立刻实现自主复制的可能性不大，因为存在明显的、难以逾越的技术瓶颈。但是按照AISI的判断，如果AI系统能够突破上述提到的4个关键能力，这种类似科幻故事的场景，也许很快就会进入真实的人类生活。本质上，这项研究的核心，反映的是当前AI发展中一个根本性的张力拉扯。一方面是各大巨头不断创造性能超强的模型，另一方面则是致力于AI安全的组织要确保这些系统始终处于人类控制之下、服务于人类利益的迫切需求。像RepliBench这样的努力，正是试图在这两者之间找到平衡，通过增进理解和加强预警，为驾驭这场史无前例的技术变革提供导航。