标签:Mamba模型

再战Transformer!原作者带队的Mamba 2来了,新架构训练效率大幅提升

自2017年提出以来,Transformer架构在AI大模型领域占据了主导地位,尤其是在语言建模方面。然而,随着模型规模的扩大和序列长度的增加,其局限性也逐渐凸显,...

CNN、Transformer、Uniformer之外,我们终于有了更高效的视频理解技术

视频理解技术旨在准确把握视频中的时空信息,但面临着短视频片段的时空冗余和复杂时空依赖关系的双重挑战。传统的三维卷积神经网络(CNN)和视频Transformer...