标签:Arctic模型

全球最大开源模型再刷爆纪录!4800亿参数MoE击败Llama 3、Mixtral

Snowflake的Arctic模型以其128位专家和4800亿参数的规模,成为目前最大的开源模型。该模型基于Dense-MoE架构设计,由一个10B的稠密Transformer模型和128×3.66...