天塌了,Scaling Law 已撞收益递减墙?OpenAI 在内,所有大模型都正遭遇巨大瓶颈

AIGC动态1个月前发布 ai-front
251 0 0
天塌了,Scaling Law 已撞收益递减墙?OpenAI 在内,所有大模型都正遭遇巨大瓶颈

 

文章摘要


【关 键 词】 AI瓶颈数据稀缺模型改进学习理解技术超越

OpenAI正面临人工智能大模型改进速度放缓的问题,其新模型Orion在完成20%训练后已达到GPT-4水平,但整体质量提升有限,特别是在编码等领域。开发速度放缓的原因之一是预训练文本和数据供应减少,导致难以获得高质量培训数据。为此,OpenAI成立了基础团队,研究在新训练数据减少的情况下改进模型的新策略,包括利用AI模型生成的合成数据训练模型,以及在后期训练过程中对模型进行更多改进。

这种减速表明,由于数据稀缺和硬件成本飙升等因素,大模型的传统扩展改进可能已达到极限。其他前沿实验室也遇到了类似问题,尝试通过更长时间的训练和使用更多数据来获得更好结果,却意外地达到了收益递减墙。这表明所有主要参与者都已达到训练时间和数据收集的极限,关键在于数据质量,而这需要时间。

此外,麻省理工学院的一项研究引发了对大模型理解和学习能力的质疑。研究人员发现,尽管生成式AI的输出令人印象深刻,但其对世界并没有连贯的理解。一旦任务或环境稍有变化,之前表现良好的模型可能会瞬间崩溃。研究人员重点研究了transformer模型,发现它们在导航和棋盘游戏等任务中的表现并不稳定,且无法形成连贯的世界模型。

对于大模型发展的瓶颈,有人建议将LLM与Cyc(一个逻辑引擎和生活常识规则数据库)连接起来,以找到语言模型和Cyc模型之间的最佳匹配。还有人提出需要人形机器人来改进scaling law,因为没有机器人在现实世界中亲身经历的纯数据,GPT就不可能得到改进。总之,目前可能需要新的方法来推动AI技术超越其当前的极限。

“极客训练营”

原文和模型


【原文链接】 阅读原文 [ 1879字 | 8分钟 ]
【原文作者】 AI前线
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★☆☆

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...