GPT-5 研发一年半进度堪忧!每轮 5 亿美金训练成本打水漂,还得雇人从头“造数据”

AIGC动态10小时前发布 ai-front
46 0 0
GPT-5 研发一年半进度堪忧!每轮 5 亿美金训练成本打水漂,还得雇人从头“造数据”

 

文章摘要


【关 键 词】 AI瓶颈训练成本数据挑战内部动荡技术竞争

GPT-5(代号Orion)项目自研发以来已超过18个月,但仍未有成品出现。《华尔街日报》报道指出,尽管Orion的性能优于OpenAI当前的模型,但其进步不足以证明继续运转新模型所需的巨大成本。GPT-5至少经历了两轮训练,每轮暴露新问题且耗资近5亿美元,但仍未达到预期。项目成功与否及时间表均不明确,且面临全球数据量不足以达到理想智能水平的问题。

自GPT-4发布后,OpenAI即投入GPT-5开发,但训练成本高昂,预计未来模型训练费用将突破10亿美元。为减少失败风险,OpenAI会先进行小规模试运行。然而,GPT-5开发一开始就遇到挑战,实验性训练“Arrakis”进展缓慢,成本高昂,且开发比预期更复杂困难。OpenAI决定对Orion进行技术调整,并意识到现有公开互联网数据无法满足模型需求,迫切需要更多种类和更高质量的数据。

为解决数据不足问题,OpenAI决定“从零开始创造数据”,雇人编写新的软件代码或解决数学问题,让Orion学习。这些任务的思考过程将被纳入AI训练材料中。OpenAI还与理论物理学等领域的专家合作,让他们解释如何解决自己领域中的棘手问题,以提升Orion的智能水平。尽管如此,雇人从头构建数据并非高效过程,且AI生成数据再用于AI训练可能导致模型出错。

OpenAI面临的挑战不仅是技术层面,还有内部动荡和竞争对手挖角,以及技术和资金的双重压力。训练成本可能超过10亿美元,竞争对手如Anthropic、谷歌等公司推出新一代模型,试图赶超OpenAI。人才流失和内部分歧进一步拖慢开发进度,关键高管、研究人员和长期员工离开OpenAI,包括联合创始人兼首席科学家Ilya Sutskever和技术负责人Mira Murati。Orion进展停滞下,OpenAI开始开发其他项目和应用,导致不同团队间争夺有限计算资源。

GPT-5的困境可能揭示AI发展的“瓶颈期”,依靠海量数据和更大模型的策略正逐渐失效,数据增长放缓,推动AI飞跃的“化石燃料”正逐渐枯竭。对于GPT-5的未来,Altman未给出明确时间表,目前无法确定OpenAI何时或是否会推出一个值得称为GPT-5的模型。

“极客训练营”

原文和模型


【原文链接】 阅读原文 [ 1727字 | 7分钟 ]
【原文作者】 AI前线
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★☆

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...