英伟达年终大礼,最强AI GPU曝光!全新B300让o1/o3推理性能上天算力爆表

AIGC动态7天前发布 AIera
171 0 0
英伟达年终大礼,最强AI GPU曝光!全新B300让o1/o3推理性能上天算力爆表

 

文章摘要


【关 键 词】 AI GPU算力提升HBM显存NVLink技术供应链变革

英伟达近期推出了新一代AI GPU——GB300和B300,这两款产品在算力和显存方面实现了显著提升,其中FLOPS性能提升50%,功耗增加200W,HBM容量增加50%,从192GB提升至288GB。这些改进对于大型模型的训练和推理至关重要,尤其是在OpenAI o3等大模型中。B300 GPU采用全新的TSMC 4NP工艺节点,优化了计算芯片设计,提升了架构和系统级性能,如CPU和GPU之间的动态功率分配。

GB300和B300的推出不仅提升了模型推理和训练性能,还对供应链造成了重大影响。英伟达的供应链结构和产品内容发生了调整,新的GB300方案中,英伟达只提供核心组件,而其他组件由终端客户直接采购。这种变化打破了原有的市场格局,为更多OEM和ODM厂商参与计算托盘制造创造了机会。

此外,英伟达的NVLink技术在推理领域具有核心优势,NVL72能让72个GPU以超低延迟协同工作、共享显存,是目前唯一能在高批处理下将推理长度扩展至10万以上token的解决方案。这在经济效益上实现了10倍以上提升,尤其是在长推理链场景中。

对于超算中心而言,GB300的推出提供了更大的系统定制自主权,使得他们可以自主定制主板、散热系统等。这使得一些超算中心能够开发自己的定制主板,整合进水冷系统,提升总拥有成本(TCO)效率。然而,这也带来了设计、验证和确认工作的挑战。

在利润方面,英伟达通过新的定价策略和减少整体供应内容,实现了成本平衡。GB300的平均售价较GB200提高约4,000美元,而物料成本仅增加略超1,000美元,增量毛利率达到73%,意味着在良率保持稳定的情况下,该产品的利润水平基本持平。这一结果打破了HBM升级周期通常会导致利润率下降的惯例。随着工程技术问题的逐步解决,良率提升,利润率预计会在年内逐步改善。

“极客训练营”

原文和模型


【原文链接】 阅读原文 [ 3000字 | 12分钟 ]
【原文作者】 新智元
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...