大模型最快推理芯片一夜易主：每秒500tokens干翻GPU！谷歌TPU人马打造，喊话奥特曼：你们也太慢了

866 0 0

作者信息

【原文作者】 量子位
【作者简介】 追踪人工智能新趋势，关注科技行业新突破
【微信号】 QbitAI

文章摘要

这篇文章介绍了初创公司Groq在大模型生成速度上的突破。Groq由谷歌TPU团队的原班人马创立，推出了基于自研芯片的推理加速方案，其速度比传统云平台快18倍，成本却降低到十分之一。Groq的推理速度可以达到每秒500 tokens，甚至更高，使得大模型的部署变得更加容易和经济。文章还提到了Groq的硬件和软件特点，以及他们的目标是在三年内超过英伟达。

Groq的推理加速方案是基于他们自创的LPU（Language Processing Unit），这是一种专门针对语言模型的处理器，它通过解决计算密度和内存带宽的瓶颈，显著提高了推理性能。Groq的芯片采用14nm制程，具有高内存带宽和强大的运算能力，同时支持通过网络交换信息，提高了并行处理能力。此外，Groq还提供了编译平台和本地化硬件方案，但具体细节需要与团队联系了解。

Groq的硬件加速卡由BittWare代工，售价大约为2万多美元。公司目前正在招聘技术人才，年薪范围从10万到50万美元不等。Groq的官方网站提供了更多信息，并邀请人们体验他们的产品。

文章最后提到，Groq在业界以其直言不讳的风格而闻名，他们不仅挑战了现有的技术巨头，还设定了雄心勃勃的目标。同时，量子位正在评选2024年最值得关注的AIGC企业和产品，以及筹备中国AIGC产业峰会。