OpenAI自曝GPT-4.5训练内幕：数据效率是关键，预训练仍然有用

100 0 0

文章摘要

在GPT-4.5发布后的一个多月，Sam Altman与OpenAI的三位核心技术人员进行了一场深入对话，首次披露了GPT-4.5研发过程中的诸多细节。GPT-4.5项目启动于两年前，是OpenAI迄今为止最周密的计划，涉及数百人的团队协作。尽管项目耗时远超预期，但最终成功实现了比GPT-4聪明10倍的性能提升。这一成果并非单一算法或架构的突破，而是系统、算法、工程和协同设计等多方面集成的结果。

在研发过程中，OpenAI团队遇到了诸多挑战，尤其是计算集群的频繁故障。10万卡集群暴露了基础设施的深层次问题，团队不得不在训练过程中“边修边训”。这些问题的解决不仅帮助OpenAI打造了更为强大的技术栈，还使得如今仅需5-10人便可复刻出GPT-4级别的大模型。这一技术进步标志着OpenAI在系统优化和容错能力上的显著提升。

未来AI发展的关键不再是算力，而是数据效率。OpenAI明确指出，如何用相同的数据学到更多知识将成为新的范式转变。当前的Transformer架构在数据利用上已经表现出高效性，但仍有提升空间。未来的突破将依赖于算法创新，开发出能够从有限数据中提取更多信息的方法。这一转变意味着AI研究的重点将从“能否训练更大的模型”转向“如何让模型学得更聪明”。

在技术层面，GPT-4.5的研发还揭示了模型性能提升的不可预测性。尽管测试损失和模型规模扩展具有可预测性，但智能提升的路径却难以提前规划。GPT-4.5在部署后展现出的诸多精妙能力，如更强的常识储备和更精准的语境理解，完全超出了团队的预期。这种不可预测的智能提升，正是Scaling Law在实践中的完美体现。

此外，OpenAI团队在研发过程中展现出的高度协作精神也值得关注。机器学习团队与系统团队的紧密合作，确保了项目在复杂挑战中稳步推进。这种无缝的协作模式，不仅提高了研发效率，也为未来更大规模的模型训练奠定了基础。

总的来说，GPT-4.5的研发过程不仅是一次技术上的突破，更是对AI未来发展方向的深刻洞察。数据效率、系统优化和智能提升的不可预测性，将成为未来AI研究的关键领域。OpenAI在这一过程中积累的经验，无疑将为下一代AI模型的开发提供宝贵的指导。