谷歌Deepmind提出LLMs“自我发现”框架，提升GPT-4性能

作者信息

【原文作者】 数智与AI
【作者简介】 专注于数据分析与应用、数字化转型、AI人工智能的趋势、应用与实践内容分享。
【微 信 号】 allfordata

文章摘要

【关 键 词】 自我发现、语言模型、推理能力、计算需求、通用智能

谷歌Deepmind与南加州大学的研究人员提出了一种名为“自我发现”的新提示框架，以提高大型语言模型（LLMs）的推理能力。该方法已在arXiV和Hugging Face上发布，并已成功提升包括OpenAI的GPT-4和谷歌的PaLM 2在内的已知模型的性能。

这种框架让LLMs能够自我发现任务内在的推理结构，从而解决问题。模型通过观察多个原子推理模块并将它们组合成明确的推理结构，供LLMs在解码过程中遵循。此外，这种方法在推理计算方面的需求比现有技术少10到40倍，对企业具有巨大优势。

研究人员表示，尽管现有的提示技术如思维链、分解提示和回溯提示都能完成任务，但它们依赖于隐式先验假设，这可能不是最佳解决方案。因此，他们提出了一个能自我发现任务独特内在结构的通用提示框架，同时实现效率的提升。

在多个模型上对25个推理任务进行测试后，研究发现自我发现方法在21个任务中超过了思维链推理和其他技术，性能提升高达32%。此外，这种方法在效率方面也表现更好，推理计算需求减少了10到40倍。

尽管自我发现提示框架的想法刚刚被提出，但它有潜力推动解决问题的边界，并使LLMs能够轻松应对具有挑战性的问题，最终朝向通用智能的目标迈进。研究团队对未来LLM结构化推理的发展充满期待，并希望探索人机合作的潜力。

原文信息

【原文链接】 阅读原文
【原文字数】 1214
【阅读时长】 5分钟