标签:谷歌TPU

大模型最快推理芯片一夜易主:每秒500tokens干翻GPU!谷歌TPU人马打造,喊话奥特曼:你们也太慢了

这篇文章介绍了初创公司Groq在大模型生成速度上的突破。Groq由谷歌TPU团队的原班人马创立,推出了基于自研芯片的推理加速方案,其速度比传统云平台快18倍,成...