标签：Dense-MoE架构

全球最大开源模型再刷爆纪录！4800亿参数MoE击败Llama 3、Mixtral

Snowflake的Arctic模型以其128位专家和4800亿参数的规模，成为目前最大的开源模型。该模型基于Dense-MoE架构设计，由一个10B的稠密Transformer模型和128×3.66...

AIGC动态

2个月前