华为盘古 5.0 强势登场:参数跃升万亿级,理解能力突破至感应 level,团队亲述幕后黑科技!

AIGC动态6个月前发布 ai-front
1,040 0 0
华为盘古 5.0 强势登场:参数跃升万亿级,理解能力突破至感应 level,团队亲述幕后黑科技!

 

文章摘要


【关 键 词】 华为云盘古多模态升级AI算力平台具身智能行业应用

华为开发者大会于6月21日召开,会上华为云盘古大模型5.0正式发布。盘古5.0在全系列、多模态和强思维三个方面进行了全新升级,推出了多种参数规格模型以适应不同业务场景。

其中,10亿级参数的Pangu E系列适用于端侧智能应用,百亿级参数的Pangu P系列适用于低时延、低成本推理场景,千亿级参数的Pangu U系列适用于处理复杂任务,而万亿级参数的Pangu S系列超级大模型则适用于跨领域多任务场景。

盘古5.0在多模态能力上进行了提升,支持10K超高分辨率的图片和视频理解,采用STCG技术生成符合物理规律的多模态内容。

此外,盘古5.0还增加了雷达、红外、遥感等模态,提升了对卫星遥感图像、红外影像和雷达影像的理解和识别能力。

在思维能力上,盘古5.0将思维链技术与策略搜索技术结合,提升了数学能力、复杂任务规划能力和工具调用能力。

通过多模态生成能力,盘古5.0为自动驾驶领域提供了高质量的数据支持,通过STC技术生成与实际场景一致的驾驶视频数据。

华为云AI算力平台对模型进行了高效使能训练,实现了数据高效、参数高效和算力高效。

华为云从盘古3.0时代的3T Tokens数据演进到了盘古5.0的10T Tokens高质量数据,其中合成数据占比超过30%。

华为云探索了面向高阶能力的数据合成方法,采用weak2strong方法迭代式合成高质量数据。

盘古5.0采用了新的π架构,基于Transformer架构的新型大语言模型架构,通过增广残差连接和新的级数激活函数,提升了模型精度和昇腾芯片推理速度。

此外,盘古5.0还采用了统一的视觉编码器和动态分辨率技术,提升了多模态能力和模型在下游任务的能力。

华为云提出了基于多步生成和策略搜索的MindStar方法,将复杂推理任务分解成多个子问题,通过搜索和过程反馈的奖励模型选择最优多步回答路径。

MindStar方法使模型的平均能力提升了30分,相当于使用慢思考带来10倍以上的参数量的加成。

会上,华为云推出了盘古具身智能大模型,搭载盘古能力的人形机器人“夸父”亮相。

盘古大模型使机器人完成复杂任务规划,并生成训练视频让机器人更快地学习复杂场景。

华为云与乐聚公司合作,提升了人形机器人的双臂操作能力,推动了泛化操作能力的边界。

华为云还推出了盘古媒体大模型,通过语音生成、视频生成和AI翻译技术创新,重塑了内容生产和应用的新模式。

盘古可以将实拍视频转换为不同风格的高清动漫,实现原声译制与视频生成,同步生成新的口型。

此外,盘古还升级了云会议系统的AI翻译能力,实现了语音的同声传译和数字人参会。

盘古大模型已在30多个行业、400多个场景中落地。

在宝武钢铁集团1880热轧生产线上线,显著降低了调优时间,提高了预测精度和钢板成材率。

华为云还与宝武钢铁集团在多个领域开展盘古大模型的应用研究。

盘古气象大模型也升级至更高难度的公里级区域预报,应用范围延伸至行业服务。

华为云对昇腾AI云服务进行了优化,实现万亿参数模型训练40天无中断,平均集群故障恢复时间10分钟,将大模型资源开通时间从月级缩短到天级。

昇腾AI云服务已全面适配行业主流的100多个大模型,以云服务方式协助开发、训练、托管和应用模型。

“极客训练营”

原文和模型


【原文链接】 阅读原文 [ 5052字 | 21分钟 ]
【原文作者】 AI前线
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...