文章摘要
【关 键 词】 大语言模型、逆转诅咒、反向训练、实体映射、认知系统性
大语言模型的“逆转诅咒”问题，即模型无法理解“如果A是B，则B是A”的逻辑关系，已经被Meta FAIR的研究人员通过一种新的反向训练方法得到改进。
这个问题最初在去年9月被发现，引起了人工智能领域专家的广泛关注。
研究人员通过观察到语言模型通常是从左到右自回归地进行训练，可能是导致这一问题的原因。
因此，他们尝试了从右到左的反向训练，即逆向训练，以帮助模型从反方向上学习事实之间的逻辑关系。
研究人员考虑了四种反向类型：标记反转、单词反转、实体保留反转和随机段反转。
他们在1.4B和7B参数规模的模型上测试了这些反转类型的有效性，发现实体保留和随机分段反向训练可以减轻甚至消除逆转诅咒。
此外，与标准的从左到右训练相比，反向训练提高了模型的表现，表明它可以作为一种通用的训练方法。
逆向训练包括获取训练数据集，并构造反向样本集。
这涉及到对标准和反向示例的训练，训练token的数量因此增加了一倍。
逆向转换可以看作是模型必须学习的第二种语言，事实之间的关系在反转过程中保持不变，模型可以从语法中判断它是处于正向还是反向语言预测模式。
在实验中，研究人员首先创建了一个基于符号的数据集，以研究受控环境中的逆转诅咒。
结果表明，标准语言模型训练在这项任务上完全失败，而反向训练几乎可以解决问题。
在恢复人名的任务中，反向训练也显示出更好的性能。
此外，研究人员还训练了一个Llama-2 14亿参数模型，使用了2万亿个token的基线模型，并在从左到右和从右到左两个方向上进行训练。
他们使用了一个名人任务来测试模型对现实世界事实的反转能力，结果显示反向训练的表现更加优秀。
最后，文章提到了Fodor和Pylyshyn在1988年发表的关于思维系统性的文章，强调了理解事物之间相互关系的重要性，即使对于非语言认知生物也是如此。
这表明，Meta FAIR的研究人员通过反向训练方法取得的进展，不仅对于大语言模型的发展具有重要意义，也对于我们理解认知和思维的系统性有着深远的影响。
原文和模型
【原文链接】 阅读原文 [ 2054字 | 9分钟 ]
【原文作者】 新智元
【摘要模型】 gpt-4
【摘要评分】 ★★★★☆
相关文章
