文章摘要
【关 键 词】 AI音乐、国产首发、天工SkyMusic、免费无限、技术公开
金磊在凹非寺的文章介绍了国内首个AI音乐生成大模型——天工SkyMusic。这款产品由昆仑万维开发,能够根据用户提供的歌词和参考曲目生成音乐。文章首先通过实验,展示了AI如何处理不同风格的文本,如网络段子《高速运转的机械》和李清照的《声声慢》,并生成相应的音乐作品。实验结果显示,天工SkyMusic能够处理多种语言和音乐元素,如粤语、英语、颤音、和声和和弦,表现出较高的自然度和情感表达能力。
天工SkyMusic的操作简单,用户只需在天工APP中填写歌词、选择参考曲目,即可生成音乐。此外,用户还可以利用“AI写词”功能来辅助创作。生成的音乐有3个不同版本供用户选择,目前支持生成80秒左右的歌曲,但昆仑万维计划很快推出3分钟版本。
文章还介绍了天工SkyMusic背后的技术路线,包括符号音乐生成和大模型音乐音频生成两大流派。昆仑万维选择了后者,并自研了一套由Encoder、DiT和Decoder三个模块组成的架构,能够生成高质量的音频波形。这一技术路线需要大量的研发投入和资金支持,但昆仑万维通过公开技术细节,为产业提供了可复现的方案。
昆仑万维的天工3.0大模型也在文章中得到了介绍。这个模型在全球权威多模态性能测试基准MMBench上取得了优异成绩,并在天工APP上提供了多种服务,如AI搜索、内容创作和智能体构建等。天工3.0的发布进一步巩固了昆仑万维在AIGC领域的领先地位。
最后,文章探讨了昆仑万维在AIGC领域的发展历程和战略。自从Sora问世以来,昆仑万维迅速布局AIGC领域,发布了全系列AIGC算法及模型,并将其应用于多个模态领域。昆仑万维的快速发展得益于其坚守“All in AGI 与 AIGC”战略,以及其敏锐的前瞻性和高效的行动力。
原文和模型
【原文链接】 阅读原文 [ 2747字 | 11分钟 ]
【原文作者】 量子位
【摘要模型】 gpt-4
【摘要评分】 ★★★★★