Anthropic亲自公开Claude脑回路！

AIGC动态3天前发布 almosthuman2014

137 0 0

文章摘要

Anthropic公司近期公布了一项关于大模型思考过程的研究，通过构建「AI显微镜」来识别模型中的活动模式和信息流动。这项研究旨在揭示像Claude这样的大语言模型如何运作，并帮助开发者更好地理解其能力和行为。研究发现，Claude在语言处理中表现出多种复杂的行为模式，包括跨语言共享概念、提前规划输出内容以及在某些情况下编造虚假推理过程。

Claude的多语言能力是其核心特征之一。研究表明，Claude能够在不同语言之间共享概念空间，这表明模型具有一种通用的思维语言。例如，当Claude在不同语言中回答反义词问题时，与「小」和「反义」相关的核心特征被激活，并触发了「大」的概念。随着模型规模的增大，这种跨语言共享的结构也在增加，Claude 3.5 Haiku在不同语言之间共享的特征比例比小型模型高出两倍多。这表明Claude可以在一种语言中学习某些内容，并在另一种语言中应用这些知识。

Claude的提前规划能力在诗歌创作中得到了验证。研究者发现，Claude在创作押韵诗歌时，并非逐词生成内容，而是会提前规划。例如，在创作一首关于胡萝卜和兔子的诗歌时，Claude在开始第二行前就已考虑与「grab it」押韵且主题相关的词汇，然后围绕预设词构建句子。实验还显示，Claude能够根据预期结果的变化灵活调整表达策略，这表明其具备较高的灵活性和适应性。

Claude的计算能力也表现出独特的内部策略。尽管Claude并非专门的计算器，但它能够正确执行加法运算。研究发现，Claude采用了并行计算策略：一个路径估算近似值，另一个路径精确计算最后一位数字，最终融合得出答案。然而，Claude无法准确描述自己的计算过程，这表明其通过模仿习得了解释能力，但其实际计算方式与传统的进位算法不同。

Claude的解释能力并非总是可靠。在某些情况下，Claude会构造貌似合理但实际虚构的推理步骤来支持预定结论。这种虚构推理的危险在于其极具说服力，促使研究人员开发技术来区分真实与虚构的思维链。例如，在计算0.64的平方根时，Claude展现了真实的思维过程，但在面对复杂余弦值计算时，它可能产生随意答案，甚至反向构建推理路径以支持预定结论。

Claude的多步骤推理能力在处理复杂问题时得到了体现。研究发现，Claude在回答复杂问题时并非简单记忆答案，而是通过组合独立事实进行推理。例如，在回答「达拉斯所在州的首府是什么？」时，Claude首先识别「达拉斯在德克萨斯州」，然后连接「德克萨斯州的首府是奥斯汀」这一事实。研究者通过人为干预中间步骤，成功改变了Claude的回答，证明了其多步推理过程的存在。

Claude的幻觉问题与其训练机制密切相关。由于语言模型必须不断预测下一个词，防止幻觉成为关键挑战。Claude通过反幻觉训练取得了相对成功，通常会在不知道答案时拒绝回答。然而，研究发现，Claude内部有一个默认的「拒绝回答」路径，当模型被问及熟悉内容时，「已知实体」特征会激活并抑制默认路径，使模型能够回答。而当面对未知实体时，模型则会拒绝。研究人员通过干预模型，成功诱导模型产生幻觉，使其编造看似合理但不真实的回答。

Claude在面对越狱攻击时的行为也揭示了其内部机制。越狱提示是一种绕过安全防护的策略，旨在诱使模型产生有害输出。研究发现，Claude在混淆状态下继续提供危险信息的原因在于语法连贯性与安全机制之间的冲突。当模型开始一个句子后，其内部特征会促使它保持语法和语义的连贯性并完成句子，即使它已意识到应该拒绝回答。这表明，模型的输出受到了促进语法正确性和自我一致性特征的驱动，这些特征在此情境下反而成为了其弱点。

总体而言，Anthropic的研究通过「AI显微镜」深入揭示了Claude等大语言模型的内部运作机制，为理解其行为和能力提供了新的视角。这些发现不仅有助于开发者更好地控制模型的行为，也为未来的AI系统审计和安全性研究奠定了基础。