运行LIama2得8400万元！最快AI推理芯片成本推算引热议

948 0 0

作者信息

【原文作者】 量子位
【作者简介】 追踪人工智能新趋势，关注科技行业新突破
【微信号】 QbitAI

文章摘要

Groq公司最近推出了一款AI芯片，声称其性能是英伟达的100倍，但成本却只有英伟达GPU的一小部分。这款芯片能够实现每秒500tokens的大模型生成，且无延迟。然而，这种性能的背后是高昂的成本。据网友估算，仅Demo演示就需要568块芯片，总花费高达1171万美元。这一数字远高于英伟达GPU的成本，后者仅需30万美元。

业界对Groq效益成本的分析

业界对Groq的成本效益进行了深入分析。一张Groq芯片的价格约为2万美元，内存仅为0.23GB。为单个LLama 70B模型服务，需要购买约320张卡，总成本约1千万美元。与英伟达的H100相比，使用4张H100卡可以实现Groq一半的性能，而价格仅为30万美元。从长期运营成本来看，H100的采购和运营成本更低。

Groq的回应与在线答疑

面对外界的质疑，Groq在社交网络上进行了回应。他们强调，Groq的token价格很实惠，因为从芯片到系统都是自家研发，没有中间商。Groq不会直接出售芯片，但第三方供应商除外。他们的目标客户不是单卡用户。Groq还在持续地在线答疑，以澄清一些常见问题。

英伟达股价的异动

尽管Groq的芯片在性能上可能超越英伟达，但其高昂的成本使得其是否能真正撼动英伟达的地位还有待观察。有趣的是，英伟达的股价在这场讨论中出现了异动。

量子位的AIGC企业与产品评选

量子位正在评选2024年最值得关注的AIGC企业和产品，以及筹备中国AIGC产业峰会。这些活动旨在展示生成式AI的应用未来，并为业界提供交流平台。