AI黑盒研究的突破性进展：Anthropic详解大模型的「思维」特征

文章摘要

【关 键 词】 人工智能、突破进展、安全性、神经元激活、概念表征

Anthropic团队在理解人工智能模型内部运作机制方面取得了突破性进展。他们首次详细表征了大型语言模型Claude Sonnet中的数百万个概念，这一成果具有里程碑意义，将有助于提升AI模型的安全性。

通过运用“字典学习”方法，Anthropic成功地将模型的神经元激活模式与人类可理解的概念对应起来，从而揭示了模型内部状态的构成。

研究者们观察到，每个概念由众多神经元共同表征，单个神经元则参与多个概念的呈现。在Claude模型中，他们识别出了与特定人、地点、编程抽象概念、科学主题及情感等相关的深层次特征。

此外，研究揭示了一些与模型安全性和可靠性相关的特征，例如涉及保密、代码漏洞、欺骗、偏见及犯罪活动的特征。

Anthropic的进一步实验表明，这些特征可以被操纵，从而改变模型的行为。例如，通过增强与金门大桥相关的特征，模型Claude展现出对该概念的过度关注，甚至在其回答中不断提及。

这项研究对于理解AI模型如何处理和生成信息具有深远意义，同时为确保AI模型的安全性、缓解偏见、防止滥用等提供了新的视角和工具。通过深入洞察模型的内部运作，Anthropic团队的工作为未来AI的更广泛应用和更严格安全管理奠定了基础。

原文和模型

【原文链接】 阅读原文 [ 2785字 | 12分钟 ]
【原文作者】 Founder Park
【摘要模型】 glm-4
【摘要评分】 ★★★★★

智谱AI

智谱AI是由清华大学计算机系技术成果转化而来的公司，致力于打造新一代认知智能通用模型。公司合作研发了双语千亿级超大规模预训练模型GLM-130B，并构建了高精度通用知识图谱，形成数据与知识双轮驱动的认知引擎，基于此模型打造了ChatGLM（chatglm.cn）。此外，智谱AI还推出了认知大模型平台Bigmodel.ai，包括CodeGeeX和CogView等产品，提供智能API服务，链接物理世界的亿级用户、赋能元宇宙数字人、成为具身机器人的基座，赋予机器像人一样“思考”的能力。