DeepSeek们越来越聪明，却也越来越不听话了。

75 0 0

文章摘要

近年来，随着AI 推理能力的提升，模型在执行任务时被认为应该更加聪明。然而，这种聪明却带来了一个意想不到的副作用：提示词遵循能力逐渐下降，模型变得越来越不听话。这一现象在DeepSeek R1等旗舰模型中尤为明显。尽管推理能力增强，模型在执行指令时却更容易违反用户的要求。当思考失败，这聪明的智商，反而就变成了负担。

一篇名为《When Thinking Fails: The Pitfalls of Reasoning for Instruction-Following in LLMs》的论文通过扎实的实验验证了这一论点。研究团队来自哈佛大学、亚马逊和纽约大学，他们花了数月时间，将思考过程应用在最基础、最需要稳定性的场景上：听懂人类指令并照做。他们设计了两组测试：IFEval和ComplexBench。IFEval是一组简单的执行类任务，每个任务都有明确的可验证标准；ComplexBench则涉及多约束、逻辑组合和顺序嵌套的复杂指令。绝大多数模型在使用CoT推理后，执行准确率反而下降了。

实验结果显示，在IFEval测试中，14个模型中有13个在使用CoT时准确率下降；在ComplexBench测试中，所有模型的表现都变差。即使是像LLaMA-3-70B-Instruct这样参数量较大、训练完整的模型，在使用CoT时准确率也从85.6%下降到77.3%。8个点的损失，在工业级任务里其实非常恐怖了。研究团队还手工分析了1500多个样本，发现模型在使用思维链后，虽然在某些方面表现更好，但也变得更加神经质，擅自修改或添加内容，导致指令遵循能力下降。

为了找出这一现象的根源，研究团队提出了一个新概念：约束注意力（Constraint Attention）。他们发现，几乎所有模型在使用CoT后，对任务描述中关键限制的关注度明显下降。这就像一个人边想边说时，反而忘了原本简单的复述目标。此外，研究还发现，思考长度与准确率之间几乎没有显著相关性。更努力≠更对。

基于这些发现，研究团队提出了四种提升指令遵循效果的方案：Few-Shot少样本示例、Self-Reflection自我反思、Self-Selective Reasoning和Classifier-Selective Reasoning。其中，Classifier-Selective Reasoning效果最为显著，几乎能恢复失去的准确率，但缺点是每个主模型都需要单独训练一个判断器，成本较高。

这篇论文揭示了AI在执行任务时的思维资源错配问题。大模型不是笨，而是思维资源错配了。它们往往过于关注细节，而忽略了任务的核心要求。真正强大的智能应该是聚焦于关键节点，而不是试图处理所有细节。我们真正需要的，是对“该想什么”有判断能力的智能。

这篇论文不仅对AI领域的研究具有重要意义，也为人类智能提供了启示。真正的智能不在于知道多少，而在于能够在关键时刻聚焦于最重要的部分。那个“看准”，在我看来，可能就是智能真正的体现。