迈向System 2推理，100页论文硬核讲述Meta-CoT

AIGC动态2天前发布 almosthuman2014

118 0 0

文章摘要

斯坦福博士生 Rafael Rafailov 参与的新研究《Towards System 2 Reasoning in LLMs: Learning How to Think With Meta Chain-of-Thought》提出了 Meta-CoT 框架，旨在通过显式建模生成特定思维链（CoT）所需的底层推理过程，扩展传统思维链方法。该研究认为，传统 CoT 方法在解决简单问题时有效，但未能捕捉到复杂推理的真实数据生成过程，这一过程通常涉及非线性、迭代性和潜在的探索与验证。Meta-CoT 通过显式建模这种潜在的「思考」过程，扩展了 CoT 方法，对于解决需要高级推理能力的问题至关重要。

研究从认知科学的双过程理论中汲取灵感，将 Meta-CoT 框架看作为一种 System 2 推理形式。论文奠定了 Meta-CoT 理论基础，展示了如何通过系统搜索过程实现这一框架，以及如何将这些过程内化到一个单一的自回归模型中。研究提供了实证证据，包括对 OpenAI 的 o1 和 DeepSeek-R1 等顶尖模型的分析，这些模型展现出了与内化（上下文）搜索一致的行为。研究还探索了通过过程监督来训练 Meta-CoT 模型的方法，以及通过蒙特卡洛树搜索（MCTS）和 A* 等搜索算法生成合成数据的技术。

最后，研究概述了一个在单一端到端系统中实现 Meta-CoT 的具体流程，该流程结合了带有线性化搜索痕迹的指令调整和强化学习（RL）后训练。研究还介绍了一个名为 Big MATH 的项目，该项目整合了超过 100 万个高质量、可验证的数学问题，以促进这一领域进一步研究。该研究不仅提供了理论洞见，还为在 LLM 中启用 Meta-CoT 提供了一条实践路线图，为人工智能实现更强大和更类人的推理铺平了道路。