4000亿参数，国产大模型硬刚Llama 3？｜钛媒体AGI
文章摘要
【关 键 词】 AI大模型、昆仑万维、开源MoE、AIGC、通用人工智能
随着中国加速研发AI大模型技术，追赶美国，如今已迎来新的节点。北京时间4月18日，Meta推出了新版开源大模型Llama 3，并推出了8B和70B的预训练和指令微调版本，在众多性能上都大幅超越了Llama 2。然而，就在4月17日，国内AI公司昆仑万维就已正式推出了4000亿参数的“天工3.0”基座开源大模型，成为全球最大的开源MoE（混合专家）大模型。相较于上一代，天工3.0的模型技术知识能力提升超过20%，数学、推理、代码、文创能力提升超过30%，多模态性能超越GPT-4V。
昆仑万维董事长兼CEO方汉表示，“天工3.0”开源模型是面向C端产品提供支撑的底座大模型，拥有非常强的技术动力，且开源模型是有一定商业模式的。另外，在B端，昆仑万维会提供垂类大模型商业服务。从一年前的追赶、学习OpenAI，到如今在AI音乐生成领域全面创新和超越，昆仑万维技术和市场双管齐下，“All in AGI与AIGC”的战略正在产生巨大效果，推动AI科技与互联网的跨越式发展。
早在1956年夏天，计算机科学家约翰·麦卡锡等人在具有传奇色彩的“达特茅斯会议”上创造“人工智能”这个术语，被认为标志着AI技术的正式诞生。之后半个世纪当中，计算机技术飞速进步，AI也影响了全球经济和社会发展。直至今日，全球共经历了三次AI浪潮。前两次AI浪潮中，所有人期盼的十年“AI效应”都如泡沫般破灭。不管是因为芯片“摩尔定律”速度跟不上AI的算力要求，还是因为数据量不够、算法不强、商业化不如预期，均让我们对AI发展都保持长期质疑的态度。当下，我们终于迎来第三次AI浪潮。这一次，AI算法、算力、数据“三驾马车”同步突破。
昆仑万维成立于2008年，经历了互联网、移动互联网发展时代，曾是出海平台领域的龙头，如今全面加注通用人工智能（AGI）赛道。方汉表示，早在2020年，昆仑万维集团就开始进入文本大模型的预训练工作，并于2022年12月发布了中国首个13B（130亿）参数级开源文本大模型，是在ChatGPT爆发后最快推出国内大模型产品的企业。到了2023年，大模型军备竞赛开启，昆仑万维“天工”也全面“狂飙”。
天工3.0的核心主要有两点：中国首个音乐AIGC的SOTA模型；4000亿参数、全球最大规模的开源MOE大模型。天工SkyMusic采用大模型音乐音频生成路线，通过直接学习并生成音频波形，而不是采用符号音乐生成路线来生成乐谱。这种方式能够实现乐器、人声、旋律、音量、音符等元素的一体化端到端生成，为用户带来更为直观且便捷的音乐创作体验。
方汉相信，所有AIGC技术将会在两三年后达到一个足够可用的高度。未来，大模型的发展将呈B端碎片化，C端免费化，而C端+免费可能成为大模型落地的主要路径。在互联网时代，谷歌、微软、百度、阿里等都是靠这个逻辑成为互联网巨头，同样的道理也将延伸到大模型时代。
昆仑万维从2020年开始布局AIGC和大模型领域，至今已积累近四年的相关工程研发经验，且研发投入巨大。根据昆仑万维2023年第三季度报告，去年前9个月公司研发费用达6.2亿元，同比增长28.18%。同时，公司十分重视开源生态，天工大模型在开发过程中也得到了开源社区上百位AI科学家的助力。
2023年4月，昆仑万维提出“All in AGI和AIGC”战略，不局限于单一的产品或技术，而是构建一个完整的AI生态系统，逐步了形成AI大模型、AI搜索、AI音乐、AI社交、AI游戏、AI视频六大业务矩阵。其中，AI大模型和AI搜索作为底座，是所有AIGC能力的基础，音乐、视频、社交、游戏等方向则是昆仑万维在AGI道路上的探索，体现了其AI UGC平台商业模式。
昆仑万维在愿景中称，“我们深信，到2035年左右，通用人工智能（AGI）终将实现，人工智能将拥有，并超越人类的理解、学习、应用、甚至工作的能力，这将极大地推动社会的繁荣。”为了做好大模型，昆仑万维做了很多准备。在算力层面，昆仑万维有近万卡的训练资源随着中国在AI大模型技术领域的加速发展，昆仑万维公司在2023年4月17日推出了全球最大的开源MoE（混合专家）大模型——4000亿参数的“天工3.0”，标志着中国在AI技术领域取得了重要进展。天工3.0在模型技术知识能力上提升了20%，在数学、推理、代码、文创能力上提升了30%，多模态性能超越了GPT-4V。昆仑万维董事长兼CEO方汉表示，天工3.0是面向C端产品提供支撑的底座大模型，具有强大的技术动力和商业模式。
昆仑万维在AI音乐生成领域也取得了突破，推出了中国首个音乐SOTA（领域最佳水准）模型“天工SkyMusic”，其综合性能评分超越了美国AI音乐生成平台Suno V3。天工SkyMusic采用大模型音乐音频生成路线，直接学习并生成音频波形，实现了乐器、人声、旋律、音量、音符等元素的一体化端到端生成，为用户提供了直观且便捷的音乐创作体验。
昆仑万维自2008年成立以来，经历了互联网、移动互联网发展时代，曾是出海平台领域的龙头，如今全面加注通用人工智能（AGI）赛道。公司早在2020年就开始进入文本大模型的预训练工作，并于2022年12月发布了中国首个13B（130亿）参数级开源文本大模型。到了2023年，昆仑万维在大模型军备竞赛中全面“狂飙”，推出了天工1.0、天工AI搜索、天工2.0等一系列产品。
方汉认为，2024年是底座大模型之年，AI底座大模型是AIGC（人工智能生成内容）坚实的基础，尤其是文本大模型。他预测，所有AIGC技术将在两三年后达到一个足够可用的高度。未来，大模型的发展将呈B端碎片化，C端免费化，而C端+免费可能成为大模型落地的主要路径。
昆仑万维在AIGC和大模型领域的布局始于2020年，至今已积累了近四年的相关工程研发经验，研发投入巨大。公司在2023年第三季度报告中显示，前9个月的研发费用达6.2亿元，同比增长28.18%。公司十分重视开源生态，天工大模型在开发过程中得到了开源社区上百位AI科学家的助力。
2023年4月，昆仑万维提出“All in AGI和AIGC”战略，构建一个完整的AI生态系统，形成了AI大模型、AI搜索、AI音乐、AI社交、AI游戏、AI视频六大业务矩阵。公司在愿景中表示，到2035年左右，通用人工智能（AGI）终将实现，人工智能将拥有并超越人类的理解、学习、应用、甚至工作的能力，这将极大地推动社会的繁荣。
为了做好大模型，昆仑万维在算力层面拥有近万卡的训练资源，技术上与业内最先进的技术保持同步。方汉每周阅读3~4篇技术论文，2023年一共阅读了200多篇论文；还会在一线写代码，写prompt，他写prompt的能力可能超过公司90%的同事；公司所有的算法博士，几乎都是方汉亲自面试的。
昆仑万维的目标是实现通用人工智能，让每个人更好地塑造和表达自我。公司不追求成为一家“大而全”的公司，而是希望成为一家“小而大美”的公司，依靠强大的产品力，打动用户，给世界带来美好的改变。
原文和模型
【原文链接】 阅读原文 [ 5021字 | 21分钟 ]
【原文作者】 钛媒体AGI
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★☆
相关文章
