Transformer七子重聚GTC，老黄亲自赠送签名版DGX-1！7年奠基之作背后佚事揭秘

313 0 0

文章摘要

【关键词】 Transformer、人工智能、深度访谈、GTC大会、科技创新

在GTC大会上，老黄与Transformer的七位作者进行了一场深度访谈。他们认为现在急需一个能够替代Transformer的架构出现。Transformer的八位作者中，只有Niki Parmar（Essential AI的联合创始人）没有亲临现场。他们的身份分别是：Noam Shazeer（Character AI联合创始人兼首席执行官）、Aidan Gomez（Cohery联合创始人兼首席执行官）、Ashish Vaswani（Essential AI联合创始人兼首席执行官）、Llion Jones（Sakana AI联合创始人兼首席技术官）、Illia Polosukhin（Near Protocol联合创始人）、Jakob Uskhoreit（Inceptive联合创始人兼首席执行官）和Lukasz Kaiser（OpenAI技术员）。

Transformer的起源可以追溯到Jakob Uszkoreit，他的父亲是计算语言学领域的知名学者Hans Uszkoreit。Jakob在谷歌的Mountain View办公室实习时，偶然加入了公司的翻译团队。他开始探索一种名为自注意力（self-attention）的全新方法，这种方法使得网络能够通过参考文段中的其他部分，来翻译某个词，这些参考部分可以帮助阐明词语的意图，从而帮助系统生成准确的翻译。

Transformer的发展过程中，Noam Shazeer的加入起到了关键作用。他是谷歌的资深员工，自2000年加入以来，因其在公司早期广告系统上的工作而成为传奇人物。他已经在深度学习领域工作了五年，最近对大语言模型产生了兴趣。他决定重写Transformer团队的代码，最终他回来说：「看，它真的有效了。」

Transformer团队着手构建一个自注意力模型，用于文本翻译。他们采用一个名为BLEU的标准来评估模型性能，该标准将机器翻译的结果与人类翻译者的工作进行对比。他们的新模型从一开始就表现出色，最终在截止时间前不到两分钟，他们提交了论文。

然而，Transformer并没有一夜之间改变世界，甚至引起谷歌立即的重视。从2018年开始，谷歌确实将Transformer技术融入到了其产品中，首先是翻译工具。同年，谷歌还推出了一款基于Transformer的新语言模型BERT，并在隔年开始用于搜索功能。然而，与OpenAI的突破性进展和微软将基于Transformer的系统大胆整合进产品线的举措相比，谷歌的这些内部改进显得较为保守。

这八位作者之后都已离开谷歌。像成千上万的其他人一样，他们现在正以某种方式与他们在2017年创造的、由系统驱动的系统共事。这是一次人类智慧的集结，创造了一台可能最终会自行发声的机器。