挑战主流观点！卡耐基梅隆大学最新研究表明：仅靠压缩即可实现 AI 解谜能力

129 0 0

文章摘要

卡耐基梅隆大学的研究人员 Issac Liao 和 Albert Gu 提出了一种新的方法，通过信息压缩来解决复杂的推理任务，挑战了传统机器学习系统依赖大量预训练数据的观念。他们的系统 CompressARC 无需外部训练数据，仅依靠谜题本身即可解决抽象模式匹配任务。这一方法在抽象和推理语料库（ARC_AGI）上进行了测试，该语料库由 François Chollet 创建，用于评估 AI 系统的抽象推理能力。CompressARC 的核心原理是通过压缩信息来驱动智能行为，寻求对谜题的最短描述，以便在解压时准确重现示例与解法。

ARC-AGI 基准测试中的谜题涉及颜色分配、填充、裁剪和识别相邻像素等任务，这些任务被认为与通用人工智能（AGI）的关键性能相关。普通人的解决率为 76.2%，而人类专家可达 98.5%。OpenAI 的 o3 模拟推理模型在 ARC-AGI 基准测试中取得了与人类相当的成绩，而 CompressARC 在训练集上的准确率为 34.75%，在评估集上的准确率为 20%。尽管 CompressARC 的准确率较低，但其在消费级 GPU 上运行，避免了重型数据中心级设备的高计算成本。

CompressARC 的方法与当前大多数 AI 系统不同，它不依赖预训练或外部数据集，也不使用搜索算法，而是通过梯度下降逐步调整网络参数以减少错误。系统在推理期间随机初始化并完成训练，仅在目标 ARC_AGI 谜题上进行训练并输出单一答案。这种方法的优势在于，它能够在没有大型数据集的领域或以最少示例学习新任务的场景下实现智能行为。

压缩与智能之间的关联在计算机科学中有着深厚的理论根源，如柯尔莫哥洛夫复杂度和所罗门诺夫归纳法。为了高效压缩信息，系统必须识别模式、找到规律并理解数据的底层结构，这些能力正是智能行为的体现。DeepMind 的研究也表明，大语言模型在某些情况下的表现优于专门的压缩算法，进一步证实了压缩与智能之间的深刻关联。

尽管 CompressARC 在解决某些类型的谜题上取得了成功，但在计数、远程模式识别、旋转、反射或模拟代表行为等任务中表现不佳。这种局限性表明，简单的压缩原理可能并不适用于所有领域。此外，这项研究尚未经过同行评审，尽管在未经预训练的情况下实现 20% 的准确率令人印象深刻，但这一成绩仍远低于人类表现和当前顶尖 AI 系统。

CompressARC 的研究挑战了 AI 开发领域的主流观点，提出了一种基于压缩目标的高效推理计算实现智能行为的新可能性。尽管存在局限性，但这一方法为 AI 技术的发展提供了一条可能的替代路径，避免了当前主流方法对大量预训练数据集和高计算成本的依赖。随着 AI 技术的持续快速发展，CompressARC 有望成为解锁机器通用智能中的重要组成部分。