文章摘要
【关 键 词】 生成式AI、英特尔、Gaudi 3、训练推理、合作厂商
英特尔在“Vision 2024”大会上发布了专用于生成式AI训练和推理的芯片Gaudi 3，该芯片在训练和推理方面表现出色。在Llama-2 7B/13B和GPT-3 175B大模型的训练中，Gaudi 3的训练时间比英伟达的H100缩短了50%。在推理测试中，Gaudi 3的吞吐量比H100快了50%，推理效率快了40%。英特尔已与戴尔、联想、惠普等厂商合作，将于2024年第二季度陆续提供该芯片，同时也将在6月和9月提供“中国版”Gaudi 3系列芯片。
Gaudi 3采用5纳米工艺制造，具有生成式AI专用计算引擎，每个加速器都包含64个AI定制和可编程TPC和8个MME，支持多种数据类型。此外，Gaudi 3拥有128GBHBMe2内存容量、3.7TB内存带宽和96MB板载静态随机存取内存，满足大模型的超大内存需求。该芯片还集成了24个200Gb以太网端口，支持企业级生成式AI扩展，全新设计的PCIe功耗低，RoCEv2支持等特性。
英特尔还构建了专业的开发环境，集成了PyTorch框架，适配了HuggingFace社区上的主流开源大模型，以帮助开发人员加速大模型的开发和训练进程。此外，英特尔与多家知名企业合作，致力于构建开放、高效的生成式AI开放平台，旨在开发多元化、企业级的生成式AI产品，并通过RAG实现易于部署、性能和价值一流的目标，加速生成式AI在企业中的场景化落地。
总的来说，英特尔的Gaudi 3芯片在生成式AI领域表现出色，具有强大的性能和功能，同时英特尔也在积极布局软件生态，与多家企业合作构建开放平台，推动生成式AI在企业中的应用落地。
原文和模型
【原文链接】 阅读原文 [ 1104字 | 5分钟 ]
【原文作者】 AIGC开放社区
【摘要模型】 gpt-3.5-turbo-0125
【摘要评分】 ★☆☆☆☆
相关文章
