英伟达B200打破摩尔定律！老黄顺便公开GPT-4的秘密

1,080 0 0

模型信息

【模型公司】 月之暗面
【模型名称】 moonshot-v1-32k
【摘要评分】 ★★★★★

文章摘要

【关键词】 AI加速、Blackwell架构、英伟达、摩尔定律、新工业革命

英伟达在其GTC大会上宣布了新一代Blackwell架构，旨在为人工智能带来30倍的推理加速，被形容为“新工业革命的引擎”。这一架构的细节在英伟达CEO黄仁勋的PPT中被披露，引起了广泛关注。特别是其中提到的1.8万亿参数的MoE GPT系列大模型，与之前传闻的GPT-4细节相吻合，显示了英伟达在AI领域的雄心壮志。

英伟达科学家Jim Fan明确表示，摩尔定律已不再是英伟达发展的瓶颈。黄仁勋在主题演讲中强调，通用计算已过时，需要新的方式来扩展计算能力、降低成本。他提出了构建更大或更多GPU组合的虚拟GPU的概念，这成为了Blackwell架构硬件产品线的核心。

新发布的B200 GPU采用了两个芯片合并的方式，拥有2080亿晶体管和192GB的HBM3e高速内存。跳过B100型号，B200 GPU与Grace CPU结合成为GB200超级芯片，通过900GB/s的NVLink芯片间互连技术连接。这些超级芯片组成Blackwell计算节点，最终形成新一代的计算单元GB200 NVL72，其FP8精度的训练算力高达720PFlops。

Blackwell架构还包括第二代Transformer引擎、第五代NVLink高速互联、Ras Engine、Secure AI和专用解压缩引擎等创新。这些技术使得GB200 NVL72能够支持高达27万亿参数的模型，显著提升了大模型的推理性能，同时大幅降低了成本和能耗。

黄仁勋还宣布了ai.nvidia.com页面，旨在成为世界AI的入口，提供易于使用的界面和AI推理微服务NIM，支持优化推理的AI模型。此外，英伟达的开发套件、软件库和工具包也通过CUDA-X™微服务提供，以支持各种AI应用的创建和部署。

英伟达的战略更加聚焦于AI，并推出了针对性的产品，如为MoE架构大模型优化的第五代NVLink。新的芯片和软件服务强调推理算力，以进一步拓展AI应用部署市场。除了AI，英伟达还宣布了与苹果在Vision Pro方面的合作，以及新光刻技术cuLitho的进展，显示了其在多个领域的布局。

最后，黄仁勋将与《Attention is all you need》的八位作者进行对谈，这些作者代表了AI产业的多样性和英伟达在整个AI界的影响力。英伟达的Blackwell架构预示着计算领域的一次重大变革。