标签：MoE技术
昆仑万维开源 2 千亿稀疏大模型天工 MoE，全球首创能用 4090 推理
昆仑万维宣布开源其千亿稀疏大模型Skywork-MoE，此模型基于先前的Skywork-13B模型中间checkpoint扩展而成，是首个将MoE Upcycling技术应用并落地的开源千亿Mo...
MoE 高效训练的 A/B 面：与魔鬼做交易，用「显存」换「性能」
本文介绍了MoE（混合专家）作为一种模块化的稀疏激活技术在大型模型训练中的应用。MoE通过将模型参数划分为多个专家子模块，每个输入仅激活少数相关专家，从...
