Ilya Sutskever发声：预训练将结束，数据压榨到头了

104 0 0

文章摘要

Ilya Sutskever，OpenAI的联合创始人和前首席科学家，在离开公司后创办了自己的人工智能实验室Safe Superintelligence，并在NeurIPS 2024会议上发表了演讲。他提出，人工智能领域中，可用的新数据已经接近枯竭，这一趋势将迫使行业改变模型训练方式。Sutskever将数据比作化石燃料，强调互联网中人类生成内容的有限性，并预测下一代AI模型将表现出真正的自主性和推理能力，与当前依赖模式匹配的AI系统不同，未来的系统将能够逐步解决问题，类似于“思考”的方式。

Sutskever还提到，具有推理能力的系统行为将变得更加不可预测，类似于高级AI在国际象棋中的表现。他将AI系统的扩展与进化生物学进行比较，提出AI可能像人类科大脑一样，找到新的扩展路径，超越现有的预训练方法。在演讲中，Sutskever回顾了深度学习的核心思想，即联结主义，以及超大神经网络在巨大数据集上训练的进步。他强调，尽管预训练时代的进步显著，但这一路线必将结束，因为数据增长有限。

在问答环节中，Sutskever讨论了未来模型可能具备的自我纠正能力，类似于自动更正功能，以及对AI模型泛化能力的思考。他认为，尽管AI模型在某种程度上能够进行分布外泛化，但人类在泛化方面要优秀得多。Sutskever的演讲和讨论涉及了AI的未来发展方向，包括智能体、合成数据和推理时间计算，以及AI系统可能的不可预测性和对数据的新处理方式。