在ICLR 2024这场演讲中，智谱AI首次公开神秘项目「GLM-zero」

AIGC动态7个月前发布 almosthuman2014

1,169 0 0

文章摘要

【关键词】 ICLR会议、大模型、智能涌现、AGI探索、中国OpenAI

ICLR（国际学习表征会议）自2013年由深度学习领域的两位图灵奖得主Yoshua Bengio和Yann LeCun创立以来，迅速成为了AI领域的顶级会议之一。2024年，ICLR迎来了第十二届，会议在奥地利维也纳举行，吸引了大量参会者和论文提交，显示出该会议的影响力和热度。

ICLR见证了人工智能领域十多年的发展，从最初只有二十几篇接收论文的小型会议，成长为投稿量超过七千的顶级会议。在2024年的开幕式上，ICLR公布了一些数据和奖项，包括首届时间检验奖，该奖项颁给了对深度学习和生成模型领域有深远影响的研究《Auto-Encoding Variational Bayes》（VAE）。

本次大会上，有七场受邀演讲，包括来自中国的GLM大模型团队的特邀演讲《The ChatGLM’s Road to AGI》。GLM团队回顾了近年来语言模型领域的技术演进，并讨论了大模型技术如何显著提升AI在多个任务上的表现，以及这些技术对于实现AGI（人工通用智能）的潜力。

演讲中提到了模型的“智能涌现”现象，即当模型规模达到一定阈值时，性能会显著提升。这种现象被称为“涌现（emergence）”，并与“Scaling Law”有关。然而，斯坦福团队的研究提出了相反的观点，认为大模型能力的涌现与任务的评价指标强相关，并非模型行为的基本变化。这项研究获得了NeurIPS 2023最佳论文奖。

GLM大模型团队在今年3月的一篇论文中提出，只有当预训练损失低于某个阈值时，模型才具有涌现能力，为后续研究提供了新的视角。GLM团队在大模型领域备受关注，被视为最有可能成为“中国OpenAI”的团队之一。他们的研究成果已经涵盖了多个领域，并且在模型迭代和优化方面保持了快速的进展。

在ICLR的演讲中，GLM团队深入解读了面向AGI的三个探索方向：首先是GLM-4的后续升级版本，将基于超级认知和超级对齐技术；其次是提出GLM-OS概念，即以大模型为中心的通用计算系统；最后是公开了名为“GLM-zero”的技术项目，旨在研究人类的“无意识”学习机制。

GLM团队的研究和发展展示了大模型技术在推动人工智能向AGI发展的潜力，同时也体现了中国在人工智能领域的进步和贡献。随着技术的不断进步，GLM团队和其他研究者的工作可能会为实现AGI提供重要的基础。