首席分析师揭秘爆火Groq,每小时要烧168美元!10倍H100拥有成本,老黄笑而不语

AIGC动态9个月前发布 AIera
814 0 0

作者信息


【原文作者】 新智元
【作者简介】 智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。
【微 信 号】 AI_era

首席分析师揭秘爆火Groq,每小时要烧168美元!10倍H100拥有成本,老黄笑而不语
 

文章摘要


【关 键 词】 GroqAI推理系统成本分析英伟达

摘要:
Groq是一家AI初创公司,推出了一种大模型推理解决方案,声称其速度比现有GPU快4倍,成本低70%。然而,SemiAnalysis的分析显示,Groq的持有成本是英伟达H100的10倍。Groq的芯片采用无缓冲、超长指令字(VLIW)架构,不依赖外部内存,但需要多个芯片互联以支持大型模型。与英伟达H100相比,Groq在单个Token成本上更具经济性,但面临固定成本高、需要大量芯片互联等挑战。Groq的商业模式包括提供推理API服务和销售硬件系统,但目前尚未实现盈利。Groq面临处理极长上下文信息、推测性解码技术发展和英伟达新一代GPU的竞争挑战。尽管Groq有潜力,但要实现其宣称的性能提升和成本降低目标,仍需克服重大障碍。

详细摘要:

Groq的AI推理系统
Groq推出的AI推理系统声称在速度和成本上具有显著优势。他们的API演示展示了其处理单个数据序列的惊人性能,可能使“思维链”等技术在现实世界中更加实用。然而,SemiAnalysis的分析指出,尽管Groq在性能上有所突破,但其总成本仍然高昂。

成本与性能分析:
Groq的芯片采用14纳米制程技术,不依赖外部内存,所有数据在处理期间存储在芯片内。这使得Groq在单个Token成本上比英伟达H100更具经济性。然而,Groq的固定成本较高,包括支付给Marvell的定制ASIC服务费用。此外,Groq需要多个芯片互联以支持大型模型,这增加了系统的复杂性和成本。

英伟达的应对策略:
英伟达预计将发布新一代B100芯片,这将显著提升其在吞吐量优化系统中的经济效益。尽管Groq在架构上具有优势,但在系统成本、利润、能耗等方面,英伟达的GPU仍具有竞争力。

Groq的挑战:
Groq面临多个挑战,包括处理极长的上下文信息、推测性解码技术的快速发展,以及英伟达即将发布的新一代GPU。此外,Groq需要实现显著的性能提升和成本降低,以实现盈利。

未来展望:
Groq计划通过编译器优化、新的服务器设计和部署更大规模的系统来提升性能和降低成本。尽管这些改进措施看似合理,但要实现7倍的性能提升无疑是一项巨大的挑战。同时,Groq需要考虑市场对快速响应小型模型推理的需求,以及是否值得为此构建专门的基础设施。

原文信息


【原文链接】 阅读原文
【原文字数】 4175
【阅读时长】 14分钟

© 版权声明

相关文章

暂无评论

暂无评论...