标签:SSM-Transformer

首个基于SSM-Transformer混合架构,开源商业大模型Jamba

AI研究实验室AI21最近开源了其基于SSM-Transformer混合架构的商业大模型——Jamba。这个模型在传统的Transformer架构上加入了结构化状态空间模型 (SSM) 技术,...