MoE 高效训练的 A/B 面：与魔鬼做交易，用「显存」换「性能」

文章摘要

【关 键 词】 MoE技术、稀疏激活、算力节约、模型训练、实用价值

本文介绍了MoE（混合专家）作为一种模块化的稀疏激活技术在大型模型训练中的应用。MoE通过将模型参数划分为多个专家子模块，每个输入仅激活少数相关专家，从而降低计算量。随着模型规模增大，MoE技术在算力有限的情况下成为必然选择。业内已出现多个基于MoE架构的大模型，但在专家数量、激活机制等方面仍有分歧。MoE的优势在于算力节约，但存在存储消耗大、训练复杂等问题。尽管如此，MoE被视为一种妥协的艺术，在算力稀缺的当下具有实用价值。未来，随着技术发展，MoE有望继续优化和扩展。

原文和模型

【原文链接】 阅读原文 [ 5189字 | 21分钟 ]
【原文作者】 AI科技评论
【摘要模型】 glm-4
【摘要评分】 ★☆☆☆☆

智谱AI

智谱AI是由清华大学计算机系技术成果转化而来的公司，致力于打造新一代认知智能通用模型。公司合作研发了双语千亿级超大规模预训练模型GLM-130B，并构建了高精度通用知识图谱，形成数据与知识双轮驱动的认知引擎，基于此模型打造了ChatGLM（chatglm.cn）。此外，智谱AI还推出了认知大模型平台Bigmodel.ai，包括CodeGeeX和CogView等产品，提供智能API服务，链接物理世界的亿级用户、赋能元宇宙数字人、成为具身机器人的基座，赋予机器像人一样“思考”的能力。