首席分析师揭秘爆火Groq，每小时要烧168美元！10倍H100拥有成本，老黄笑而不语

893 0 0

作者信息

【原文作者】 新智元
【作者简介】 智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。
【微信号】 AI_era

文章摘要

【关键词】 Groq、AI、推理系统、成本分析、英伟达

摘要：
Groq是一家AI初创公司，推出了一种大模型推理解决方案，声称其速度比现有GPU快4倍，成本低70%。然而，SemiAnalysis的分析显示，Groq的持有成本是英伟达H100的10倍。Groq的芯片采用无缓冲、超长指令字（VLIW）架构，不依赖外部内存，但需要多个芯片互联以支持大型模型。与英伟达H100相比，Groq在单个Token成本上更具经济性，但面临固定成本高、需要大量芯片互联等挑战。Groq的商业模式包括提供推理API服务和销售硬件系统，但目前尚未实现盈利。Groq面临处理极长上下文信息、推测性解码技术发展和英伟达新一代GPU的竞争挑战。尽管Groq有潜力，但要实现其宣称的性能提升和成本降低目标，仍需克服重大障碍。

详细摘要：

Groq的AI推理系统：
Groq推出的AI推理系统声称在速度和成本上具有显著优势。他们的API演示展示了其处理单个数据序列的惊人性能，可能使“思维链”等技术在现实世界中更加实用。然而，SemiAnalysis的分析指出，尽管Groq在性能上有所突破，但其总成本仍然高昂。

成本与性能分析：
Groq的芯片采用14纳米制程技术，不依赖外部内存，所有数据在处理期间存储在芯片内。这使得Groq在单个Token成本上比英伟达H100更具经济性。然而，Groq的固定成本较高，包括支付给Marvell的定制ASIC服务费用。此外，Groq需要多个芯片互联以支持大型模型，这增加了系统的复杂性和成本。

英伟达的应对策略：
英伟达预计将发布新一代B100芯片，这将显著提升其在吞吐量优化系统中的经济效益。尽管Groq在架构上具有优势，但在系统成本、利润、能耗等方面，英伟达的GPU仍具有竞争力。

Groq的挑战：
Groq面临多个挑战，包括处理极长的上下文信息、推测性解码技术的快速发展，以及英伟达即将发布的新一代GPU。此外，Groq需要实现显著的性能提升和成本降低，以实现盈利。

未来展望：
Groq计划通过编译器优化、新的服务器设计和部署更大规模的系统来提升性能和降低成本。尽管这些改进措施看似合理，但要实现7倍的性能提升无疑是一项巨大的挑战。同时，Groq需要考虑市场对快速响应小型模型推理的需求，以及是否值得为此构建专门的基础设施。