解决Transformer根本缺陷，CoPE论文爆火：所有大模型都能获得巨大改进

文章摘要

【关 键 词】 Meta研究、位置编码、CoPE方法、上下文处理、语言模型

这篇文章介绍了Meta公司研究人员提出的一种新的位置编码方法，称为CoPE（Contextual Position Encoding），用于Transformer模型，旨在解决标准位置编码无法处理的计数和复制任务。

传统的位置编码基于token位置，而CoPE允许模型根据内容和上下文来选择性地编码位置。

实验结果表明，CoPE能更好地处理选择性复制、计数任务以及语言建模任务，特别是在处理分布外数据和高泛化能力方面表现出色。

该研究为大型语言模型提供了一种更高效和灵活的位置编码方式，拓展了其在自然语言处理领域的应用范围。

总的来说，该研究的主要贡献是提出了一种根据上下文进行位置编码的方法，为Transformer模型在自然语言处理领域带来了新的可能性。

原文和模型

【原文链接】 阅读原文 [ 3775字 | 16分钟 ]
【原文作者】 机器之心
【摘要模型】 glm-4
【摘要评分】 ★☆☆☆☆

智谱AI

智谱AI是由清华大学计算机系技术成果转化而来的公司，致力于打造新一代认知智能通用模型。公司合作研发了双语千亿级超大规模预训练模型GLM-130B，并构建了高精度通用知识图谱，形成数据与知识双轮驱动的认知引擎，基于此模型打造了ChatGLM（chatglm.cn）。此外，智谱AI还推出了认知大模型平台Bigmodel.ai，包括CodeGeeX和CogView等产品，提供智能API服务，链接物理世界的亿级用户、赋能元宇宙数字人、成为具身机器人的基座，赋予机器像人一样“思考”的能力。