文章摘要
【关 键 词】 AI创业、谷歌DeepMind、技术成长、资金挑战、人才回归
Yi Tay，曾是Reka AI的联合创始人和谷歌大模型项目如PaLM、UL2、Flan-2、Bard的重要参与者，已决定离开创业领域，重返谷歌DeepMind担任高级研究员，并向他的前老板Quoc Le汇报。这一决定是在他离开谷歌创业一年半之后做出的，期间他经历了从基础设施搭建到大模型训练的全过程，但也面临了资金紧张、身心健康受损等挑战，体重增加了15公斤。
在Reka AI期间，Tay的技术成长显著，他学会了如何使用Pytorch/GPU和其他外部基础设施，以成本最优的方式构建模型，并在个人网站上分享了相关经验。他将获取计算能力的过程比喻为“买彩票”，强调了不同算力提供商集群质量的差异。尽管外部代码库的质量不如谷歌，但他通过不断解决问题，最终成功地推动了技术发展。Reka AI的旗舰模型Reka Core在Lmsys首次亮相时排名靠前，超越了GPT-4的早期版本。
然而，公司层面的挑战和个人健康问题最终促使Tay做出了回归谷歌的决定。Reka AI作为初创企业，在资金、算力和人力方面相对较弱，尽管筹集了超过一亿美金，但对于不到15人的团队来说仍然紧张。今年5月，Reka AI曾传出可能被Snowflake以超过10亿美元的价格收购，但目前收购事宜尚未谈成。
Tay的回归得到了谷歌老同事的热烈欢迎，他们纷纷表示“Welcome back”。这并非个例，今年8月，谷歌以25亿美元收购了明星AI独角兽Character.AI的核心技术团队，包括Transformer的主要贡献者Noam Shazeer和Daniel De Freitas。这些事件表明，对于技术大牛来说，大模型创业充满挑战，而重返大厂可能是一个更稳妥的选择，可以享受充足的资金和算力，安心进行研究。随着科技巨头吸引更多技术人才，这一趋势愈发明显。
原文和模型
【原文链接】 阅读原文 [ 1310字 | 6分钟 ]
【原文作者】 量子位
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★☆☆☆
