标签：长上下文
Transformer继任者「Titans」来了，上下文记忆瓶颈被打破
谷歌推出了一种新的AI架构——Titans，旨在解决现有注意力机制无法扩展到长上下文的问题。Titans结合了注意力机制和元上下文记忆，能够处理长达200万tokens的上...
只有模仿没有创新？国产 AI 用行动打破质疑
MiniMax公司在2025年初发布了MiniMax-01系列模型，包括基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01，标志着公司首次开源模型。这些模型采...
清华微软最新力作：用物理学革新Transformer注意力，「大海捞针」精度暴涨30%！
微软研究院和清华大学的研究人员提出了一种名为Differential Transformer（DIFF Transformer）的新模型架构，旨在改进Transformer模型中的注意力机制。该架构...
陈丹琦团队新作：Llama-2上下文扩展至128k，10倍吞吐量仅需1/6内存
陈丹琦团队发布了一种名为CEPE（并行编码上下文扩展）的新方法，该方法通过添加小型编码器和交叉注意力模块，扩展了预训练和指令微调模型的上下文窗口。这种...
