标签:上下文处理

MiniMax震撼开源,突破传统Transformer架构,4560亿参数,支持400万长上下文

2025年被AI业界领袖视为AI Agent的关键年份,预计将对公司生产力产生重大影响。在这一背景下,MiniMax开源了两个新模型:基础语言模型MiniMax-Text-01和视觉...

解决Transformer根本缺陷,CoPE论文爆火:所有大模型都能获得巨大改进

这篇文章介绍了Meta公司研究人员提出的一种新的位置编码方法,称为CoPE(Contextual Position Encoding),用于Transformer模型,旨在解决标准位置编码无法处...