大模型步入「推理Scaling」时代，SambaNova如何挑战英伟达的霸主地位？
文章摘要
【关 键 词】 AI模型、推理能力、芯片创新、算力竞争、AI芯片
OpenAI发布的o1模型在AI领域引起了巨大震动，它不仅能够处理复杂问题，还具备出色的通用推理能力。o1模型无需专门训练即可在数学奥赛中获得金牌，并在博士级别的科学问答中超越人类专家。这一成就不仅展示了模型性能的飞跃，也标志着大模型进化范式的转变，即通过更多的强化学习和推理计算来提升性能。
随着从“训练Scaling”到“推理Scaling”的范式转变，计算资源的分配和硬件选择需要重新考虑。研究者和从业者认识到，更多的计算资源应投入到推理阶段，而优化硬件配置以提升大模型推理效率成为研究重点。大模型推理对芯片的并行处理能力要求更高，而GPU在延迟和功耗方面的表现不佳，不再是大规模推理的最佳选择。
在众多AI芯片中，SambaNova RDU（Reconfigurable Dataflow Unit）的动态可重构数据流架构芯片因其并行处理和高效数据移动能力而被认为是一个重要的发展方向。SambaNova的新一代RDU产品SN40L在芯片盛会Hot Chips上引起关注，其架构能够实现极致的算子融合，达到90%以上的HBM利用率，使得RDU在性能上对GPU有2-4倍的优势。
SambaNova RDU的片上空间数据流可以自动进行算子融合，与GPU的传统逐个kernel运行相比，显著减少了内存流量和开销。数据流架构通过数据流动驱动计算过程，支持并行处理，提高了计算性能。SambaNova RDU在Llama 3.1 405B模型上提供每秒超过100个Token的推理速度，展现了其在大模型推理中的优势。
SambaNova RDU的推理速度提升不仅体现在效率上，还体现在质量上，对AGI（人工通用智能）的探索也有加速作用。随着大模型Scaling Law的重心从预训练向后训练和推理侧转移，算力层面的分配与设计将深刻影响大模型领域的竞争格局。SambaNova等公司在提供算力和计算基础设施方面将迎来前所未有的机遇。
SambaNova成立于2017年，由三位资深联合创始人领导，包括前甲骨文和Sun Microsystems工程团队负责人Rodrigo Liang，以及来自斯坦福大学的Kunle Olukotun和Christopher Ré。公司得到了“芯片风险投资教父”陈立武的支持，他在推动半导体创新和发展方面发挥了重要作用。
在深度学习引发的第三次人工智能浪潮中，算力对人工智能发展的重要性已成共识。英伟达凭借GPU在AI硬件市场占据主导地位。然而，随着SambaNova RDU等新型AI芯片的出现，英伟达和GPU可能面临强劲竞争，AI推理市场正处于爆炸式增长的新起点。
原文和模型
【原文链接】 阅读原文 [ 2817字 | 12分钟 ]
【原文作者】 机器之心
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★
