4000亿参数,国产大模型硬刚Llama 3?|钛媒体AGI

AIGC动态8个月前发布 TMTPOSTAGI
723 0 0
4000亿参数,国产大模型硬刚Llama 3?|钛媒体AGI

 

文章摘要


【关 键 词】 AI大模型昆仑万维开源MoEAIGC通用人工智能

随着中国加速研发AI大模型技术,追赶美国,如今已迎来新的节点。北京时间4月18日,Meta推出了新版开源大模型Llama 3,并推出了8B和70B的预训练和指令微调版本,在众多性能上都大幅超越了Llama 2。然而,就在4月17日,国内AI公司昆仑万维就已正式推出了4000亿参数的“天工3.0”基座开源大模型,成为全球最大的开源MoE(混合专家)大模型。相较于上一代,天工3.0的模型技术知识能力提升超过20%,数学、推理、代码、文创能力提升超过30%,多模态性能超越GPT-4V。

昆仑万维董事长兼CEO方汉表示,“天工3.0”开源模型是面向C端产品提供支撑的底座大模型,拥有非常强的技术动力,且开源模型是有一定商业模式的。另外,在B端,昆仑万维会提供垂类大模型商业服务。从一年前的追赶、学习OpenAI,到如今在AI音乐生成领域全面创新和超越,昆仑万维技术和市场双管齐下,“All in AGI与AIGC”的战略正在产生巨大效果,推动AI科技与互联网的跨越式发展。

早在1956年夏天,计算机科学家约翰·麦卡锡等人在具有传奇色彩的“达特茅斯会议”上创造“人工智能”这个术语,被认为标志着AI技术的正式诞生。之后半个世纪当中,计算机技术飞速进步,AI也影响了全球经济和社会发展。直至今日,全球共经历了三次AI浪潮。前两次AI浪潮中,所有人期盼的十年“AI效应”都如泡沫般破灭。不管是因为芯片“摩尔定律”速度跟不上AI的算力要求,还是因为数据量不够、算法不强、商业化不如预期,均让我们对AI发展都保持长期质疑的态度。当下,我们终于迎来第三次AI浪潮。这一次,AI算法、算力、数据“三驾马车”同步突破。

昆仑万维成立于2008年,经历了互联网、移动互联网发展时代,曾是出海平台领域的龙头,如今全面加注通用人工智能(AGI)赛道。方汉表示,早在2020年,昆仑万维集团就开始进入文本大模型的预训练工作,并于2022年12月发布了中国首个13B(130亿)参数级开源文本大模型,是在ChatGPT爆发后最快推出国内大模型产品的企业。到了2023年,大模型军备竞赛开启,昆仑万维“天工”也全面“狂飙”。

天工3.0的核心主要有两点:中国首个音乐AIGC的SOTA模型;4000亿参数、全球最大规模的开源MOE大模型。天工SkyMusic采用大模型音乐音频生成路线,通过直接学习并生成音频波形,而不是采用符号音乐生成路线来生成乐谱。这种方式能够实现乐器、人声、旋律、音量、音符等元素的一体化端到端生成,为用户带来更为直观且便捷的音乐创作体验。

方汉相信,所有AIGC技术将会在两三年后达到一个足够可用的高度。未来,大模型的发展将呈B端碎片化,C端免费化,而C端+免费可能成为大模型落地的主要路径。在互联网时代,谷歌、微软、百度、阿里等都是靠这个逻辑成为互联网巨头,同样的道理也将延伸到大模型时代。

昆仑万维从2020年开始布局AIGC和大模型领域,至今已积累近四年的相关工程研发经验,且研发投入巨大。根据昆仑万维2023年第三季度报告,去年前9个月公司研发费用达6.2亿元,同比增长28.18%。同时,公司十分重视开源生态,天工大模型在开发过程中也得到了开源社区上百位AI科学家的助力。

2023年4月,昆仑万维提出“All in AGI和AIGC”战略,不局限于单一的产品或技术,而是构建一个完整的AI生态系统,逐步了形成AI大模型、AI搜索、AI音乐、AI社交、AI游戏、AI视频六大业务矩阵。其中,AI大模型和AI搜索作为底座,是所有AIGC能力的基础,音乐、视频、社交、游戏等方向则是昆仑万维在AGI道路上的探索,体现了其AI UGC平台商业模式。

昆仑万维在愿景中称,“我们深信,到2035年左右,通用人工智能(AGI)终将实现,人工智能将拥有,并超越人类的理解、学习、应用、甚至工作的能力,这将极大地推动社会的繁荣。”为了做好大模型,昆仑万维做了很多准备。在算力层面,昆仑万维有近万卡的训练资源随着中国在AI大模型技术领域的加速发展,昆仑万维公司在2023年4月17日推出了全球最大的开源MoE(混合专家)大模型——4000亿参数的“天工3.0”,标志着中国在AI技术领域取得了重要进展。天工3.0在模型技术知识能力上提升了20%,在数学、推理、代码、文创能力上提升了30%,多模态性能超越了GPT-4V。昆仑万维董事长兼CEO方汉表示,天工3.0是面向C端产品提供支撑的底座大模型,具有强大的技术动力和商业模式。

昆仑万维在AI音乐生成领域也取得了突破,推出了中国首个音乐SOTA(领域最佳水准)模型“天工SkyMusic”,其综合性能评分超越了美国AI音乐生成平台Suno V3。天工SkyMusic采用大模型音乐音频生成路线,直接学习并生成音频波形,实现了乐器、人声、旋律、音量、音符等元素的一体化端到端生成,为用户提供了直观且便捷的音乐创作体验。

昆仑万维自2008年成立以来,经历了互联网、移动互联网发展时代,曾是出海平台领域的龙头,如今全面加注通用人工智能(AGI)赛道。公司早在2020年就开始进入文本大模型的预训练工作,并于2022年12月发布了中国首个13B(130亿)参数级开源文本大模型。到了2023年,昆仑万维在大模型军备竞赛中全面“狂飙”,推出了天工1.0、天工AI搜索、天工2.0等一系列产品。

方汉认为,2024年是底座大模型之年,AI底座大模型是AIGC(人工智能生成内容)坚实的基础,尤其是文本大模型。他预测,所有AIGC技术将在两三年后达到一个足够可用的高度。未来,大模型的发展将呈B端碎片化,C端免费化,而C端+免费可能成为大模型落地的主要路径。

昆仑万维在AIGC和大模型领域的布局始于2020年,至今已积累了近四年的相关工程研发经验,研发投入巨大。公司在2023年第三季度报告中显示,前9个月的研发费用达6.2亿元,同比增长28.18%。公司十分重视开源生态,天工大模型在开发过程中得到了开源社区上百位AI科学家的助力。

2023年4月,昆仑万维提出“All in AGI和AIGC”战略,构建一个完整的AI生态系统,形成了AI大模型、AI搜索、AI音乐、AI社交、AI游戏、AI视频六大业务矩阵。公司在愿景中表示,到2035年左右,通用人工智能(AGI)终将实现,人工智能将拥有并超越人类的理解、学习、应用、甚至工作的能力,这将极大地推动社会的繁荣。

为了做好大模型,昆仑万维在算力层面拥有近万卡的训练资源,技术上与业内最先进的技术保持同步。方汉每周阅读3~4篇技术论文,2023年一共阅读了200多篇论文;还会在一线写代码,写prompt,他写prompt的能力可能超过公司90%的同事;公司所有的算法博士,几乎都是方汉亲自面试的。

昆仑万维的目标是实现通用人工智能,让每个人更好地塑造和表达自我。公司不追求成为一家“大而全”的公司,而是希望成为一家“小而大美”的公司,依靠强大的产品力,打动用户,给世界带来美好的改变。

原文和模型


【原文链接】 阅读原文 [ 5021字 | 21分钟 ]
【原文作者】 钛媒体AGI
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★☆

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...