文章摘要
【关 键 词】 人工智能、语言学习、数据需求、儿童模仿、AI模型训练
这篇文章报道了纽约州立大学心理学家Brenden Lake教授的一项研究,他通过让女儿Luna头戴相机收集数据,来探索如何更有效地训练人工智能(AI)模型,特别是大型语言模型(LLM)。Lake教授的研究团队试图了解儿童如何从有限的输入中学习语言,并希望将这些学习模式应用到AI模型的训练中,以提高训练效率并减少数据需求。
文章首先指出,训练LLM需要海量数据,但人类儿童却能在很短的时间内迅速掌握语言,这启发了Lake教授的研究。他和团队通过让25名儿童佩戴类似GoPro的相机,收集了他们日常生活中的视频和音频数据。这些数据将用于训练AI模型,以期模拟儿童的学习过程。
Lake教授的研究团队采用了一种新颖的方法,他们尝试将视频片段与照顾者的话语联系起来,类似于OpenAI的Clip模型将图像与标注联系起来的方式。他们的模型能够根据GoPro镜头捕捉的训练数据和照顾者的音频,将场景的图像作为输入,然后输出语言来描述这个场景。这种方法旨在让AI模型像人类儿童一样,学会将口语和观察到的物体相匹配。
尽管儿童学习语言的具体机制尚未完全明了,但Lake教授相信,提高LLM训练效率的关键在于模仿儿童的学习模式。他们的早期实验已经取得了成功,使用61小时的视频片段训练出的神经网络能够将单词和短语与视频帧中的体验联系起来。这项研究的成果已发表在Science杂志上。
Lake教授强调,他们的模型不仅仅是为了证明AI可以将图像中的对象与相应的单词相匹配,而是希望了解模型是否能在儿童可用的稀疏数据级别上真正学习识别物体。如果实验成功,这可能意味着训练LLM不再需要大量的数据,从而解决全球数据荒的问题。
文章最后提到,Lake教授的研究团队将继续探索如何通过模仿儿童的学习过程来提高AI模型的训练效率。他们认为,通过这种方法,AI模型不仅能更好地理解语言,还可能有助于理解人类的学习和发展,甚至测试不同的语言治疗方法。这项研究为我们提供了一个全新的视角,以理解和改进AI模型的训练方法。
原文和模型
【原文链接】 阅读原文 [ 4703字 | 19分钟 ]
【原文作者】 新智元
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★