文章摘要
【关 键 词】 Transformer、AI技术、机器翻译、谷歌、OpenAI
本文讲述了Transformer架构的发展历程，这是一项对AI领域产生重大影响的技术。Transformer的发明者之一，Lukasz Kaiser，公开承认参与了OpenAI的Q*项目，但关于该项目的具体内容，OpenAI保持高度保密。
Transformer的起源可追溯至2012年，当时谷歌担心苹果的Siri可能会威胁其搜索业务，因此开始研究能够直接回答用户问题的搜索功能。这一努力最终催生了Transformer架构，它能够有效扩展数据和算力，为AI领域带来突破。
Jokob Uszkoreit是Transformer最初的起点，他放弃了博士学位加入了谷歌的团队。在2014年，Uszkoreit开始尝试自注意力机制，尽管当时许多人对此持怀疑态度。2016年，他与Illia Polosukhin和Ashish Vaswani共同起草了Transformer的设计文档。
随后，Niki Parmar、Llion Jones、Aidan Gomaz、Lukasz Kaiser和Noam Shazeer等人陆续加入团队。他们将研究方向定为机器翻译，并在2017年NIPS会议前夜完成了Transformer架构的设计。Shazeer的加入对团队的成功至关重要，他重新编写了代码，将系统提升到新水平。
Transformer架构的论文《Attention is all you need》在2017年发表后引起轰动，其极简主义设计和高效性能受到了广泛赞誉。然而，尽管谷歌拥有这一技术，却未能像OpenAI那样迅速利用Transformer推出重大AI产品。
OpenAI的首席科学家Ilya Sutskever在论文发表当天就意识到其潜力，并推动了GPT系列模型的开发。相比之下，谷歌缺乏顶层设计和推动，未能充分发挥Transformer的潜力。
随着时间的推移，Transformer的八位发明者陆续离开了谷歌，各自创办了与Transformer相关的公司或加入了其他AI项目。例如，Uszkoreit创办了生物AI技术公司Inceptive，Vaswani和Parmar共同创办了Adept AI和Essential AI，而Kaiser加入了OpenAI并参与了GPT-4和Q*项目。
文章最后指出，谷歌的官僚作风和对创新的忽视导致了它在AI领域的领先地位被削弱，而OpenAI则因其灵活和专注的组织形态，在AI领域取得了更大的成功。
原文和模型
【原文链接】 阅读原文 [ 3784字 | 16分钟 ]
【原文作者】 量子位
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★
相关文章
