OpenAI怒斥Scaling撞墙论！o1已产生推理直觉潜力巨大

14 0 0

文章摘要

OpenAI高级研究副总裁Mark Chen在一次炉边谈话中反驳了关于Scaling Law（规模法则）撞墙的观点。他强调，OpenAI通过o系列和GPT系列模型，成功维持了模型的Scaling。Chen认为，OpenAI已经准确掌握了需要解决的技术挑战。从经济角度来看，OpenAI已经成为最有价值的科技公司之一，为真实用户提供了数十亿美元的价值。AI模型的发展已经从解决小学数学题进步到能够处理最难的博士生题目，显示出AI模型能够解决人类历史上最困难的考试。Chen提到，o1模型不仅是能力上的提升，也是一种安全改进，它通过增加模型的思考和反思时间，使其在安全问题上更稳健。

在讨论AGI（人工通用智能）的级别时，OpenAI定义了从基本推理者到完全自主系统的不同级别，其中稳健性和推理能力是关键。目前，我们正处于从第一阶段向第二阶段过渡的阶段，智能体系统越来越自主，模型可以自行操作，人们对AI系统的信任也在逐渐增加。

合成数据的力量也被提及，它在数据稀缺或数据质量较低的数据集中显示出其价值，如在训练DALL-E模型时的应用。OpenAI研究者认为，合成数据可以用于训练模型，提高数据集的质量。

关于Scaling Law撞墙的观点，Chen认为虽然在预训练方面遇到一些瓶颈，但OpenAI内部有两种非常活跃的范式，让人对未来发展充满希望。他提到，推理模型的Scaling上没有同样的障碍，并且OpenAI内部的技术挑战已经非常具体，没有完全无法应对的问题。

o1的推理直觉是OpenAI研究者集体努力的结果，他们发现AI缺少慢速思考的能力，这是连接系统一和系统二之间的鸿沟。通过解决这个挑战，o1模型在多个领域显示出了推理能力的泛化，如医学和法律推理。

最后，Chen强调OpenAI仍然像早期那样，致力于研究和安全，并管理着一个庞大的研究项目组合。他认为现在是AI创业的好时机，因为基础模型的玩家专注的是通用性，而在特定领域定制模型有很多空间和可能性。OpenAI的研究者认为，表现最好的初创企业是那些在刚刚开发发挥作用的边缘技术上进行构建的企业。