模型信息
【模型公司】 OpenAI
【模型名称】 gpt-3.5-turbo-0125
【摘要评分】 ★★★☆☆
文章摘要
【关 键 词】 大模型、硬件需求、算力增长、摩尔定律、性能评估
近日，MIT的研究人员发表了一项关于大模型能力增速的研究，指出LLM的能力每8个月翻一倍，远超过摩尔定律。这意味着硬件可能无法跟上大模型的需求，引发了人们对AI成本的担忧。摩尔定律是指集成电路中的晶体管数量每两年翻一番，由Gordon Moore提出，自1975年以来一直成立。然而，随着时间推移，半导体行业的发展速度略低于摩尔定律的预测速度。英伟达首席执行官黄仁勋宣称“摩尔定律已死”，而英特尔首席执行官Pat Gelsinger则持不同意见。在算力增长方面，有一句话称为“安迪给的，比尔都拿走”，指的是当英特尔首席执行官Andy Grove推出新芯片时，微软的CEO比尔·盖茨通过升级软件来消耗芯片性能。根据MIT的研究，大模型可能会超出硬件的供给。研究人员通过量化模型的能力来评估其性能水平，招募了200多个语言模型参与比赛，使用WikiText-103、WikiText-2和Penn Treebank等数据集。他们引入了“有效数据”和“有效模型大小”的概念，通过缩放定律来估计实现相同性能水平所需资源的速度。研究结果显示，有效计算的中位倍增时间为8.4个月，95%置信区间为4.5至14.3个月。比较2016年至2020年前后的算法有效计算的估计倍增时间，后期的倍增时间较短，表明算法进步速度加快。
原文信息
【原文链接】 阅读原文
【阅读预估】 1948 / 8分钟
【原文作者】 新智元
【作者简介】 智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。
