GPT Next年底来袭！有效计算量百倍GPT-4，OpenAI耗资数百亿打造基建

650 0 0

文章摘要

在KDD 2024峰会上，OpenAI日本首席执行长Tadao Nagasaki透露了关于下一代AI模型 GPT Next的最新信息。GPT Next预计将在2024年发布，其性能将显著超越GPT-4。Nagasaki强调，尽管GPT-3和GPT-4的能力相近，但GPT Next将实现实质性的性能提升。这一消息与微软Build开发者大会上首席技术官Kevin Scott的言论相呼应，预示着年底前将有更强大的OpenAI模型问世。

在峰会上，还公布了关于猎户座（Orion）和草莓项目的更多细节。GPT-4 Next预计将使用迷你版草莓进行训练，其计算资源与GPT-4相当，但有效计算量是GPT-4的100倍。这100倍的增长可能指的是体系结构和学习效率的改进，而不仅仅是计算资源规模的增加。Orion项目与GPT-4相比，预计将在10k H100上用时几个月完成训练，增加了10倍的计算资源规模，相当于增加了3个数量级（OOM），预计明年发布。

此外，Nagasaki提到OpenAI正在开发的两个新系统：草莓和猎户座。草莓在数学和编程等领域具有更高能力，而猎户座可能是GPT-4的继任者，或者就是GPT Next。猎户座可能会使用草莓生成的高质量数据进行训练，并大幅提升逻辑推理能力。

OpenAI的全球员工数量不到2000人，其中一半从事人工智能开发。有传言称，GPT-5可能拥有3-5万亿个参数，远超GPT-4的1.7万亿。大模型的发展需要1.5-2年的时间来进化到下一代。

为了支持大模型的诞生，需要强大的算力基础设施。Sam Altman正在规划大规模建设AI所需的机器和系统，这一计划将耗资数百亿美元，分散在美国各州展开。项目包括建设数据中心、增加能源容量、利用涡轮机和发电机传输电力以及扩大半导体制造。支持者可能包括加拿大、韩国、日本、阿联酋的投资者。OpenAI高管，包括奥特曼，一直在与投资者会面，推进这笔交易。微软也被设想参与这一项目。

在谈判之际，OpenAI即将开启新一轮数十亿美元的融资，由Thrive Capital牵头，微软、苹果、英伟达也参与其中。这轮融资结束后，OpenAI的估值将超过1000亿美元。

还有传闻称，OpenAI可能在10月17日发布新的内容，可能是GPT-4o模型更新或SearchGPT的公开推出。谷歌DeepMind的首席科学家也提到，他的公司将在10月18日宣布一些事情。这表明OpenAI和谷歌在AI领域的竞争仍在继续。