Intel推出新芯片，推理性能比英伟达H100快50%

770 0 0

文章摘要

在Vision 2024活动中，Intel宣布了一系列重大消息，包括新款Gaudi 3 AI处理器的详细信息。Intel声称Gaudi 3在训练性能上比英伟达提高了70%，在推理性能上提高了50%，在效率上比英伟达的H100处理器高出40%，且价格更亲民。Intel还推出了新的数据中心CPU品牌，即Xeon 6系列，包括Granite Rapids和Sierra Forest芯片，预计今年上市，并支持新的MXFP4数据格式。

Intel还宣布正在开发适用于Ultra Ethernet Consortium标准网络的AI网络接口卡ASIC，以及将应用于未来的XPU和Gaudi 3处理器的AI网络接口卡芯片组。这些产品将通过Intel Foundry提供给外部客户。尽管Intel没有透露太多网络产品的细节，但这表明Intel正致力于在AI市场中与英伟达和AMD竞争，尤其是在AI GPU领域。

Gaudi 3是Intel收购Habana Labs后的第三代产品，预计2024年第三季度开始大规模生产。Gaudi 3提供了前代产品两倍的FP8性能和四倍的BF16性能，以及两倍的网络带宽和1.5倍的内存带宽。Gaudi 3采用TSMC 5nm工艺，包含两个中央的5nm芯片，周围是8个HBM2E封装，总共128GB，提供高达3.7 TB/s的带宽。计算由64个第五代张量处理核心（TPC）和8个矩阵数学引擎（MME）处理。

Gaudi 3的可扩展性是其一个关键特点，它通过200 Gbps以太网连接将加速器相互连接，并可以扩展到最多包含1,024个节点的集群。Intel将Gaudi 3与Nvidia H100系统进行了性能对比，显示Gaudi 3在某些工作负载上的性能和效率优于H100。

软件生态系统方面，Intel强调其一体化的软件栈，并与Hugging Face、PyTorch、DeepSpeed和Mosaic合作，简化了软件移植过程。Intel的OneAPI作为底层的核心和通信库，旨在提供CUDA的替代方案。Intel还表示其OpenVino工具今年迄今已经有超过一百万次下载。

总体而言，Intel、英伟达和AMD都在采取不同的策略来提供AI训练和推断工作负载所需的集群可扩展性。Intel的基于以太网的开放解决方案和内置的网络接口卡在成本上具有优势，而英伟达和AMD提供了融合CPU+GPU的复杂方案。Intel未来的Falcon Shores产品将作为纯AI加速器设计推出，与英伟达和AMD的GPU-only集群竞争。Intel计划在定价上积极竞争，并为明年推出Falcon Shores做准备。空冷型Gaudi 3模型已经向合作伙伴提供样品，预计将在第三季度广泛上市。