AI做数学学会「动脑子」！ UCL等发现LLM「程序性知识」，推理绝不是背答案

214 0 0

文章摘要

最近，UCL和Cohere等机构的研究人员发现，在执行推理任务时，大型语言模型（LLM）表现出一种“程序性知识”。这项研究挑战了人们对于LLM仅通过简单检索来推理的普遍看法，揭示了LLM在处理推理任务时，实际上是依赖于文档中的程序性知识，使用可概括的策略来综合解决方案。

研究团队通过分析两种不同规模的模型（7B和35B）及其25亿预训练token，识别出对三种简单数学推理任务的模型输出产生影响的文档，并与回答事实性问题时的数据进行对比。他们发现，尽管模型在回答每个事实性问题时依赖的数据集大多是不同的，但在推理问题上，一个文档往往表现出了类似的影响力。这表明LLM在推理时并不是简单检索，而是使用一种可泛化的策略，即从进行类似推理的文档中综合程序性知识。

研究还发现，对于事实性问题，答案通常出现在最具影响力的数据中，而对于推理问题，答案通常不会出现在高度影响力的数据中。这进一步证实了LLM在推理时依赖的是程序性知识，而非直接检索答案。此外，代码在数学推理中的重要性也被强调，表明推理的泛化策略不同于从预训练期间形成的参数化知识中进行检索。

尽管研究结果表明LLM依赖程序性知识进行泛化，但研究者也承认方法存在局限性，例如没有计算整个训练集的影响，这可能导致结果的另一种解释。然而，研究者认为这种解释不太可能，因为定性分析表明推理问题的高影响数据直观上高度相关，并且不同推理任务的影响分数之间的相关性显著。

这项研究提供了对LLM推理能力的深入理解，并为未来的预训练策略和数据选择提供了指导。尽管研究结果只能提供证据而非证明，但它揭示了LLM在推理任务中依赖程序性知识的可能性，这对于理解LLM的能力和局限性具有重要意义。