文章摘要
【关 键 词】 ICLR 2024、智谱AI、大模型、多模态、AGI
摘要
ICLR 2024 会议概述
ICLR 2024，即2024年国际学习表示会议，正在维也纳举行。尽管重要的奖项如时间检验奖和杰出论文奖已经颁发，但会议的其他环节同样引人注目。
智谱AI特邀演讲
智谱AI是唯一一个受邀在ICLR 2024上进行特邀演讲的中国团队。该团队的演讲主题为”The ChatGLM’s Road to AGI“，讨论了他们开发的千亿参数大语言模型ChatGLM。智谱AI自2019年起便参与大型语言模型（LLM）的研究，并与OpenAI在多个模态上形成了生态对标。
技术路线与成果
智谱AI的GLM模型采用了编码器-解码器架构，与GPT的仅解码器架构不同。他们分享了自己从ChatGLM到GLM-4V的发展历程，并介绍了CogVLM模型，该模型结合了视觉和语言能力。此外，智谱AI还展示了CogView3，一个快速且精细的文生图模型，以及CogAgent，一个具有视觉Agent能力的大模型。
AI大模型智能涌现
智谱AI团队提出，AI大模型的智能涌现关键在于预训练损失（Pre-training Loss），而非模型参数。他们通过训练和评估不同参数和数据规模的语言模型，发现预训练损失与下游任务性能呈负相关。
解决数学问题的Self-Critique方法
智谱AI提出了一种迭代训练方法，通过自我反馈机制帮助LLM提升语言和数学能力。
通向AGI的“三步走”计划
智谱AI展示了他们实现通用人工智能（AGI）的路线图，包括GLM-4.5的升级版本，引入GLM-OS概念，以及研究无意识学习机制的GLM-zero技术。
ICLR 2024其他亮点
会议还颁发了时间检验奖，表彰了变分自编码器（VAE）的研究，该研究对生成模型产生了深远影响。此外，ICLR 2024的亚军奖项授予了GAN的发明者Ian Goodfellow和其他研究人员的工作。
结论
ICLR 2024突出了大模型在机器学习领域的领先地位，特别是智谱AI团队在大型语言模型和多模态领域的贡献。通过特邀演讲和奖项颁发，会议展示了大模型技术的进步和对未来人工智能发展的潜在影响。
原文和模型
【原文链接】 阅读原文 [ 4073字 | 17分钟 ]
【原文作者】 量子位
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★
