英伟达吞噬世界！新架构超级GPU问世，AI算力一步提升30倍

AIGC动态9个月前发布 almosthuman2014

857 0 0

模型信息

【模型公司】 月之暗面
【模型名称】 moonshot-v1-32k
【摘要评分】 ★★★☆☆

文章摘要

英伟达在2023年的GTC开发者大会上发布了一款名为Blackwell的新型GPU，标志着AI算力的显著提升。Blackwell平台的GPU采用多芯片封装（MCM）设计，集成了两个GPU，拥有2080亿个晶体管，并采用了定制的双reticle台积电4NP制程工艺。Blackwell的AI算力达到20 petaflops（FP4精度），是上一代H100 GPU的五倍。此外，Blackwell平台的GPU分为B200和GB200产品系列，后者集成了一个Grace CPU和两个B200 GPU，为大语言模型推理负载提供高达30倍的性能提升，同时将成本和能耗降低25倍。

Blackwell平台的发布意味着AI算力在过去八年里增长了一千倍。黄仁勋在会上强调，大模型参数量的指数级增长要求更大的GPU和算力。例如，OpenAI最大的模型拥有1.8万亿参数，即使使用PetaFLOP级GPU，也需要1000年才能完成训练。Blackwell GPU的发布，使得构建和运行实时生成式AI大型语言模型的成本和能耗降低到之前的1/25。

技术革新方面，Blackwell引入了第二代Transformer引擎，支持FP4和FP6，使得计算、带宽和模型大小翻倍。同时，新的微张量扩展和先进动态范围管理算法使得Blackwell支持双倍的算力和模型大小。此外，第五代NVLink交换机允许576个GPU相互通信，具有每秒1.8TB的双向带宽，大大提高了互联GPU的效率。

除了硬件系统，英伟达还利用生成式AI构建了一系列元宇宙、工业数字孪生、机器人训练软件体系。公司正在将Omniverse企业技术引入苹果，让开发人员通过Vision Pro在AR/VR设置中使用Omniverse工具。英伟达还公布了人形机器人项目GR00T，展示了由GR00T驱动的人形机器人如何完成各种任务。此外，英伟达开发了新型“机器人大脑”计算芯片Jetson Thor，能够执行复杂任务并使用Transformer引擎处理多个传感器。

总的来说，英伟达的Blackwell平台和相关技术革新为AI算力的提升和实用化迈出了重要一步，同时也为构建更广泛的AI生态系统提供了支持。