揭秘:阶跃星辰万亿MoE+多模态大模型矩阵亮相

揭秘:阶跃星辰万亿MoE+多模态大模型矩阵亮相

 

文章摘要


【关 键 词】 AI大会大模型阶跃星辰多模态技术创新

在2024年世界人工智能大会上,阶跃星辰公司展示了其最新的AI大模型技术,吸引了大量观众。一个特别受欢迎的展台提供了一种互动体验,观众可以通过AI大模型生成自己在仙界的形象,并根据MBTI人格类型在天庭获得一个“差事”。这个互动体验不仅在现场提供,还可以通过在线二维码体验。

阶跃星辰与上影合作推出的《AI + 大闹天宫》互动体验只是一个开胃菜,目的是让大众直观感受大模型的魅力。在大会期间,阶跃星辰还展示了几款重要的大模型,包括万亿参数的MoE大模型Step-2正式版、千亿参数的多模态大模型Step-1.5V,以及图像生成大模型Step-1X。

Step-2大模型最早在3月份亮相,如今已进化到全面逼近GPT-4的能力,涵盖数理逻辑、编程、中文和英文知识等方面。相比之前的千亿级别模型,Step-2在解决复杂问题上的能力显著提升,这得益于其巨大的参数量和创新的训练方法。阶跃星辰选择了完全自主研发,从头开始训练的方式,尽管这种方式训练难度高、算力消耗大,但能获得更高的模型上限。通过创新的MoE架构设计,Step-2不仅总参数量达到了万亿级别,每次训练或推理所激活的参数量也超过了市面上大部分的密集模型。

基于Step-2的强大基础,阶跃星辰进一步训练出了多模态大模型Step-1.5V。这个模型不仅拥有强大的感知和视频理解能力,还能进行高级推理任务,如解答数学题、编写代码和创作诗歌等。Step-1.5V在训练过程中,Step-2作为监督模型提供指导,使其推理能力大大提升。

图像生成大模型Step-1X则专注于多模态生成能力,特别是针对中国元素进行了深度优化,更符合国人的审美风格。基于该模型打造的《大闹天宫》AI互动体验融合了图像理解、风格迁移、图像生成和剧情创作等多种能力,展示了阶跃星辰在多模态领域的领先水平。

阶跃星辰的创始人姜大昕指出,大模型的演进会经历三个阶段:首先是各个模态独立发展,其次是模态融合但理解和生成任务分开,最后是生成和理解统一在一个模型里,形成具身智能并逐步演变成世界模型,实现AGI。阶跃星辰在这条路上坚持“万亿参数”和“多模融合”两大方向,Step-2、Step-1.5V和Step-1X都是他们在这条路上达成的重要节点。

通过这些创新和技术积累,阶跃星辰在国内大模型领域站稳了脚跟,形成了强大的模型矩阵,未来有望带来更多惊喜。

“极客训练营”

原文和模型


【原文链接】 阅读原文 [ 2658字 | 11分钟 ]
【原文作者】 机器之心
【摘要模型】 gpt-4o
【摘要评分】 ★★★★★

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...