4万亿个晶体管，单机可训练比GPT4大10倍的模型，最快最大的芯片面世

AIGC动态9个月前发布 almosthuman2014

1,079 0 0

模型信息

【模型公司】 OpenAI
【模型名称】 gpt-3.5-turbo-0125
【摘要评分】 ★★★★☆

文章摘要

Cerebras宣布推出了历史上最重要的消息，发布了拥有高达4万亿个晶体管的WSE-3芯片，是世界上最快的芯片之一。该公司一直致力于开发大型芯片，之前发布的WSE-1和WSE-2已经引起了关注。WSE-3在相同功耗和价格下性能是WSE-2的两倍，专为训练业界最大的AI模型而设计。WSE-3的推出使得Cerebras能够继续生产世界上最大的单芯片。配备WSE-3的CS-3计算机可以处理24万亿个参数的大型语言模型，比目前顶级AI模型的参数高出一个数量级。CS-3还拥有1.2PB的内存系统，旨在训练比GPT-4和Gemini还大10倍的下一代前沿模型。Cerebras的软件框架为PyTorch 2.0和最新的AI模型和技术提供原生支持，是唯一能为动态和非结构化稀疏性提供本机硬件加速的平台。

CS-3具有卓越的功耗效率和软件易用性，比其他系统提供更高的计算性能，性能翻倍功耗不变。CS-3的易用性也很高，相比于GPU，需要的代码减少97%，能够在纯数据并行模式下训练从1B到24T参数的模型。Cerebras已经收到了来自科技企业和科研机构的大量订单，得到了美国阿贡国家实验室副主任Rick Stevens的赞扬。Cerebras的创始人兼首席执行官Andrew Feldman表示，他们很自豪能够推出第三代突破性人工智能芯片，帮助解决当今最大的人工智能挑战。