Ilya Sutskever在NeurIPS炸裂宣判：预训练将结束，数据压榨到头了（全文+视频）

AIGC动态4天前发布 almosthuman2014

109 0 0

Ilya Sutskever在NeurIPS炸裂宣判：预训练将结束，数据压榨到头了（全文+视频）

文章摘要

Ilya Sutskever，OpenAI的联合创始人和前首席科学家，在NeurIPS 2024会议上发表了演讲，提出了对人工智能发展的深刻见解。他预测，由于可用的新数据接近枯竭，人工智能行业将不得不改变当前的模型训练方式。Sutskever将数据比作化石燃料，强调互联网中人类生成的内容是有限的，我们必须利用现有数据。他预见下一代AI模型将展现出真正的自主性和推理能力，与当前依赖模式匹配的AI系统不同，未来的系统将能够逐步解决问题，类似于“思考”。Sutskever还强调，随着系统推理能力的增强，其行为将变得更加不可预测。

在演讲中，Sutskever将AI系统的扩展与进化生物学进行了比较，指出人类科的脑体比在对数尺度上展现出与众不同的增长趋势。他提议，AI可能也会超越现有的预训练方法，发现全新的扩展路径。他还回顾了深度学习的核心思想，即联结主义，以及超大神经网络在巨大数据集上训练的进步。Sutskever认为，尽管预训练时代的进步显著，但这一路线无疑会结束，因为数据没有增长，而计算能力在不断增加。

Sutskever还讨论了智能体、合成数据和推理时间计算等概念，并预测这些将在未来AI发展中扮演重要角色。他强调，未来的AI系统将能够从有限的数据中理解事物，并且不会感到困惑。在问答环节中，Sutskever回答了关于生物启发的AI、模型自我纠正能力以及LLMs在分布外进行多跳推理的泛化等问题，展现了他对AI未来发展的深刻理解和开放态度。