00后华裔小哥哈佛辍学组团挑战英伟达，史上最快AI芯片Sohu推理性能超H100二十倍！

885 0 0

文章摘要

【关键词】 Transformer芯片、AI算力提升、Etched公司、Sohu芯片、AI芯片创新

Etched公司，由一群00后哈佛辍学生创立，最近宣布了一项重大突破：他们开发出了迄今为止最快的Transformer芯片Sohu。这款芯片在运行大型语言模型（LLM）Llama 70B时，每秒能够生成高达50万个token，推理性能显著超过市面上的B200和H100芯片。

Etched公司凭借这一创新成果，成功完成了1.2亿美元的融资，投资方包括硅谷的知名机构和个人投资者，如Peter Thiel。公司创始人Gavin Uberti表示，他们正在开发一种专为Transformer模型设计的芯片，其运行速度远超GPU，这可能是人工智能领域的一个重要赌注。

Sohu芯片的推出，正值英伟达市值达到3.3万亿美元，超越微软成为全球市值最高的公司之际。Etched公司相信，尽管团队仅有35人，但他们有能力挑战英伟达。Sohu芯片的专用性意味着它无法运行大多数传统AI模型，但对Transformer模型来说，它提供了前所未有的速度。

然而，Sohu芯片的成功也伴随着风险。如果未来的AI模型转向其他架构，如SSM、RWKV等，Sohu芯片可能会变得无用。但Etched公司认为，如果他们对Transformer的判断正确，Sohu芯片将有可能彻底改变世界。

AI模型的性能在过去几年里取得了显著提升，这主要得益于计算量的大幅增加。例如，Meta用于训练Llama 400B模型的计算量是OpenAI训练GPT-2模型的5万倍。OpenAI通过Scaling Law预测了GPT-4的性能，并预计GPT-5+将同样适用。这表明，通过提供更多的算力和数据，可以显著提高AI的智能水平。

然而，随着摩尔定律的放缓，GPU性能的提升已经遇到瓶颈。过去四年里，芯片单位面积的计算能力几乎没有提升，而是通过增加芯片尺寸来提高性能。这导致了AI芯片的计算密度增长缓慢，硬件、成本和财力的挑战日益严峻。

在这种情况下，开发专用芯片成为了提高性能的必然选择。Etched公司的Sohu芯片正是这一趋势的体现，它专为Transformer模型设计，提供了前所未有的速度和效率。尽管存在一定的风险，但Sohu芯片的推出无疑为AI领域带来了新的希望和可能性。