华为创造AI算力新纪录：万卡集群训练98%可用度，秒级恢复、分钟诊断

232 0 0

文章摘要

华为昇腾万卡算力集群实现了近乎”永不罢工”的稳定性能，其核心突破在于构建了三大智能保险系统。该系统通过全栈可观测能力实时监控集群运行状态，故障诊断组合拳实现分钟级问题定位，以及自愈系统提供多层容错防护。具体表现为：训练可用度达98%，相当于全年仅7天可能中断；线性度超95%，千卡规模下资源利用率接近理想状态；故障恢复速度达秒级，显著优于行业平均水平。

技术实现层面采用分层创新架构。全栈可观测系统包含集群运行视图、告警配置等模块，如同为集群安装”火眼金睛”。故障诊断系统建立千种故障模式库，支持跨域协同分析，将传统数小时的定位过程缩短至分钟级。自愈系统通过超节点光链路容错设计，可承受99%的光模块闪断故障，结合Step级重调度技术使HBM多比特ECC故障修复时间压缩至1分钟内。

在效率优化方面，四项关键技术确保算力扩展与训练效率呈线性关系。TACO技术根据硬件拓扑智能分配任务，NSF技术融合网存算资源，NB技术设计分层通信策略，AICT技术实现无干扰监控。实测显示，Pangu Ultra 135B模型在4K卡集群上实现96%线性度，718B稀疏模型在8K卡集群达95.05%线性度。

故障恢复体系采用分级处理机制。训练环节通过分层快恢技术，万卡规模故障恢复时间控制在10分钟内，进程级在线恢复仅需30秒。推理环节创新提出三步保险计划：实例间切换、实例内重启、实例内无损恢复，配合TOKEN级重试技术将部分故障影响降低60倍。这些技术使AI推理可用度达到99.95%，满足医疗诊断等关键场景需求。

整体技术体系形成”3+3″双维度解决方案。三大基础能力（感知诊断、故障管理、光链路容错）与三大业务支撑（线性度优化、训练快恢、推理快恢）共同构成技术闭环。该方案已在实际应用中验证其价值，为大规模AI模型训练提供稳定可靠的算力基础设施支撑，相关技术细节已通过开源文档对外公开。