文章摘要
OpenAI前研究主管Bob McGrew公开表示，AGI的「技术拼图」已经齐全，关键在于如何将推理能力落地并重塑价值创造路径。他认为，实现通用人工智能（AGI）的三大支柱是Transformer、规模化预训练和推理。过去五年中，AI技术发展迅猛，且这一趋势仍在延续，不存在所谓的「技术墙」。McGrew在红杉的「训练数据」系列播客中分享了他的洞见，认为未来可能不会再出现根本性突破，而是继续扩大、改进和打磨现有的三大概念：基于transformer的语言模型、大规模预训练和推理能力的引入与提升。
2025年被McGrew称为「推理之年」，推理技术正在快速发展，并迅速扩散到各大实验室。OpenAI在推理领域的进展尤为显著，从o1-preview到o3的发布仅用了六个月，期间实现了从无法使用工具到能在「思维链」中调用工具的突破。然而，随着推理能力趋于成熟，技术潜力逐渐被「消耗殆尽」，进展速度可能会放缓。
预训练在AI发展中仍然重要，但角色发生了变化。预训练的收益递减，因为模型的智能增长与所投入的算力呈对数线性关系。尽管如此，预训练仍然是规模巨大、耗时持久的训练过程，未来真正的杠杆在于架构的改进。后训练则主要塑造模型的「人格」，与「智能」不同。后训练的目标是设计出真实、吸引人的AI人格，这需要像OpenAI的Joanne Jang或Anthropic的Amanda Askell等产品经理的深入参与。
推理被认为是AGI缺失的关键拼图。预训练让模型对问题有「直觉式的理解」，但推理能力使模型能够自己引导推理过程，而不是仅仅模仿人类的思考样本。OpenAI意识到推理比单纯的预训练更具潜力，因为人类的思维过程并非模型能直接获取的数据，模型必须自己推导出「思考的方式」。尽管行业一线仍有大量新想法和细节上的改进，但许多进展已不再公开出现在论文中，局外人已经难以理解这些复杂的进展。
原文和模型
【原文链接】 阅读原文 [ 2095字 | 9分钟 ]
【原文作者】 新智元
【摘要模型】 deepseek-v3
【摘要评分】 ★★★★☆
相关文章
