Day0迁移、一键部署，华为开源的昇思MindSpore成为大模型开发的“万能钥匙”

24 0 0

文章摘要

在AI大模型时代，行业逐渐形成一个共识：没有一个大模型可以一统天下。面对众多且不断更新的主流大模型和AI技术，开发者们面临的主要挑战是如何在一个统一的框架和生态下进行体验和开发。华为开源的昇思MindSpore为解决这一问题提供了一个高效的解决方案。通过昇思MindSpore，开发者可以实现训练Day0迁移，即只需改动极少代码即可将主流大模型迁移到MindSpore框架中，同时保持精度和性能。此外，MindSpore还支持推理一键部署，训练转推理全流程自动化，20多个主流大模型开箱即用，百亿参数模型加载时间不到30秒。

MindSpore的核心技术之一是MSAdapter，这是一个能够将其他框架（如PyTorch）的代码转换为MindSpore可识别语言的工具，从而实现“零损耗”迁移。MSAdapter支持95%以上的接口自动转换，迁移损耗几乎为零。此外，MindSpore还通过动态图多级流水、JIT编译、自动策略寻优和执行序比对等技术，进一步加速训练、调试和调优过程。以DeepSeek-V3为例，代码改动量极少，Shell脚本仅需修改4行代码，Python脚本变更量占比不到1%，且通过代码补丁工具自动完成修改。在保持并行策略一致的情况下，MindSpore还能提升5%的性能。

在推理部署方面，MindSpore通过vLLM-MindSpore插件，能够在半小时内完成HuggingFace模型的部署并上线。对于千亿参数的大模型，MindSpore采用三层部署模式，直接加载HuggingFace的模型权重，无需转换格式，并通过vLLM-MindSpore插件快速将模型变为可提供服务状态。目前，已有20多个常用模型上线，包括DeepSeek、Pangu、Qwen等。实测数据显示，以Pangu Pro MoE 72B为例，使用vLLM和MindSpore在Atlas 800I A2上部署推理服务，时延小于100ms的情况下单卡增量吞吐可达每秒1020tokens，在Atlas 300I Pro上可达每秒130tokens。

总体而言，昇思MindSpore通过其高效的迁移和部署方案，为开发者提供了一个快速、便捷且性能优异的大模型开发和部署平台，显著降低了开发门槛和成本。