文章摘要
【关 键 词】 大语言模型、AIGC、SELF-DISCOVER、推理结构、效率提升
本文主要介绍了谷歌Deepmind和南加州大学研究人员提出的一种用于大语言模型的通用框架——SELF-DISCOVER，它能自行发现任务内在的推理结构，以解决对典型提示方法的复杂推理问题。在多个复杂推理基准测试上，SELF-DISCOVER表现出色，相比仅使用链式思维的方法，在21个任务上取得了高达42%的性能提升。
传统的提示方法在处理复杂推理问题时存在一定的局限性，例如链式思维隐式假设了某种推理流程，无法充分利用不同模块各自的长处。而SELF-DISCOVER可以引导大语言模型根据一组给定的原子推理模块，自行选择、调整和组合这些模块，形成一个用于解决特定任务的推理结构。这种结构不仅结合了多个推理模块的优势，而且对每个任务都是独特定制的，从而极大提高模型的推理和解题能力。
SELF-DISCOVER的工作流程分为两个阶段。第一阶段是在任务层面上发现解决该任务的推理结构，由三个细分模块来做引导，分别是SELECT模块、ADAPT模块和IMPLEMENT模块。第二阶段则是使用第一阶段生成的推理结构来解决该任务的所有实例。
相比其他方法，SELF-DISCOVER拥有三大优势：1）发现的推理结构整合了多个推理模块的优点；2）它的效率很高，只需要在任务层面额外进行3次推理；3）发现的结构反映了该任务的内在特性，比优化后的提示更具解释性。研究还发现，SELF-DISCOVER在需要世界知识的任务上效果最好，这是因为综合使用多个推理模块可以使模型从不同视角理解问题，而仅使用链式思维可能会遗漏一些重要信息。此外，与需要大量重复查询的方法相比，SELF-DISCOVER也展现出了极高的效率，每次只需要一个查询，而获得相似性能的集成方法需要40倍的查询量，也就是说可以节省很多算力资源。
原文和模型
【原文链接】 阅读原文 [ 1058字 | 5分钟 ]
【原文作者】 AIGC开放社区
【摘要模型】 gpt-4-32k
【摘要评分】 ★★★★☆
相关文章
