标签:Mamba模型

陈丹琦等人组织的COLM奖项公布:被ICLR拒稿的Mamba入选杰出论文

2023年,一群在自然语言处理(NLP)领域取得显著成就的青年学者,包括业界和学术界的研究人员,组织了一个新的专注于语言建模研究的学术会议,名为COLM(Conf...

再战Transformer!原作者带队的Mamba 2来了,新架构训练效率大幅提升

自2017年提出以来,Transformer架构在AI大模型领域占据了主导地位,尤其是在语言建模方面。然而,随着模型规模的扩大和序列长度的增加,其局限性也逐渐凸显,...

CNN、Transformer、Uniformer之外,我们终于有了更高效的视频理解技术

视频理解技术旨在准确把握视频中的时空信息,但面临着短视频片段的时空冗余和复杂时空依赖关系的双重挑战。传统的三维卷积神经网络(CNN)和视频Transformer...