英伟达要小心了！爆火的Groq芯片能翻盘吗？AI推理速度「吊打」英伟达？

279 0 0

文章摘要

本文主要探讨了人工智能公司Groq的AI芯片的实力与潜力，以及其对英伟达的挑战。

Groq的AI芯片在处理大型模型token生成上表现出色，其生成速度远超其他使用GPU驱动的AI云服务提供商。然而，尽管Groq的速度令人瞩目，但其昂贵的价格也是一个不容忽视的问题。

GPU在训练机器学习模型方面的强大作用无可替代，但它并非模型推理的理想选择。一方面是因为GPU架构复杂，其中只有部分核心专门针对AI场景。其次，GPU承载存储和计算两个部分，导致数据需要频繁读写，从而降低运行速度，提高功耗。

专门为AI应用设计的芯片，如谷歌的TPU和Groq的LPU都有自身的独特优势，但也有着各自的挑战需要我们去理解和探讨。TPU专为AI应用设计的芯片，专门处理矩阵运算（AI应用中超过90%的计算任务）。而Groq的LPU采用与TPU相同的处理模式，不同的是它在计算单元旁边直接集成了大约230MB的SRAM，带宽可达80TB/s。

Groq的优势表现在不需要预测解码的高性能，且这一优势在实现批处理系统后仍然显著。Groq仍在使用相对较旧的14nm工艺，并向Marvell支付较高的芯片利润。然而，随着Groq的投资额增加，以及其下一代4nm芯片产量的提高，情况可能发生改变。

华为已经推出昇腾910和昇腾310两款采用达芬奇架构的AI芯片。该架构具有强大的计算能力，可以在一个周期内完成4096次MAC运算，并集成多种运算单元，支持混合精度计算和数据精度运算。基于昇腾系列处理器构建的全栈AI解决方案，已逐渐完善。该方案包括昇腾系列芯片、Atlas硬件系列、芯片使能、异构计算架构CANN以及AI计算框架等。

总的来说，Groq的AI芯片在处理大型模型token生成上表现出色，其生成速度远超其他使用GPU驱动的AI云服务提供商。然而，尽管Groq的速度令人瞩目，但其昂贵的价格也是一个不容忽视的问题。此外，华为的昇腾系列AI芯片也在AI领域展现出强大的实力，为国内市场提供了更大的发展空间。