4万亿晶体管5nm制程，全球最快AI芯片碾压H100！单机可训24万亿参数LLM，Llama 70B一天搞定

868 0 0

模型信息

【模型公司】 OpenAI
【模型名称】 gpt-3.5-turbo-0125
【摘要评分】 ★★★☆☆

文章摘要

这篇文章报道了全球最强最大的AI芯片WSE-3的发布，该芯片具有4万亿晶体管和5nm工艺制程，单个超算可训练出24万亿参数模型，相当于GPT-4/Gemini的十倍大。WSE-3的性能是上一代的两倍，且功耗保持不变，拥有90万个AI核心和44GB的片上SRAM存储，峰值性能达到了125 FP16 PetaFLOPS。WSE-3专为AI打造的计算能力，每个核心都可以独立编程，专为神经网络训练和深度学习推理中的基于张量的稀疏线性代数运算进行了优化。WSE-3实现了集群级性能，配备的44GB片上SRAM内存使每个核心能以极高的带宽访问快速内存。此外，WSE-3具有超高带宽和极低延迟的片上互连技术。Cerebras的CS-3超算可训练比GPT-4和Gemini大10倍的下一代前沿大模型，配备了1.2PB的巨大存储系统，单个系统即可训练出24万亿参数的模型。CS-3提高了集群的可扩展性，支持高达2048个系统集群，性能提升10倍。在Cerebras平台上开发所需的代码量减少了高达97%，训练一个GPT-3规模的模型仅需565行代码。整体而言，这篇文章介绍了WSE-3和CS-3超算的强大性能和创新特点，展示了AI领域的最新技术进展。

原文信息

【原文链接】 阅读原文
【阅读预估】 1232 / 5分钟
【原文作者】 新智元
【作者简介】 智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。