Bye，英伟达！华为NPU，跑出了准万亿参数大模型

21 0 0

文章摘要

华为基于昇腾国产算力平台，成功实现了7180亿参数MoE模型的长期稳定训练，突破了负载均衡、通信开销和训练效率等多项技术挑战。这一成就标志着国产算力平台在AI大模型训练领域迈入世界领先行列。华为通过一系列创新技术，如MoE结构选型与昇腾亲和结构优化、模型结构仿真、EP组负载均衡损失算法等，显著提升了模型训练效率。在6000+块昇腾NPU集群上，模型的算力利用率达到了30.0%，比优化前提升了58.7%。

华为团队在模型架构、MoE训练分析和系统优化方面进行了深入研究。通过细粒度专家和共享专家的结合，以及多维并行亲和技术的应用，华为成功实现了计算资源的高效利用。此外，团队还开发了专门的建模仿真工具，准确率高达85%以上，帮助优化模型参数选择。在训练过程中，华为采用了dropless方案，显著提升了训练吞吐量，并通过改进并行计算策略、优化数据传输效率和提升显存使用效果，进一步提高了模型性能。

在实验结果方面，盘古Ultra MoE对话版本在多领域展现出卓越竞争力。在通用理解任务、数学推理与代码生成等高难度测试中，盘古Ultra MoE表现优异，具备突出的代码与数学解题能力。专家专业度分析显示，盘古Ultra MoE已形成显著的专家差异化，这种特性增强了模型的表达能力，为其卓越性能提供了关键支撑。此外，路由专家与共享专家的均衡协同作用，有效提升了模型的整体表征能力。

华为盘古Ultra MoE技术的突破，不仅证明了中国企业在全球AI竞赛中已具备从跟跑到并跑，甚至领跑的实力，更为千行百业的智能化转型注入了强劲动力。未来，随着技术的持续迭代与应用场景的拓展，盘古Ultra MoE将助力中国在新一轮科技革命中占据制高点，为人类科技进步贡献更多“中国智慧”。