自从 AI 让人类实现音乐创作自由后，连吵架都变得有趣了起来。
前段韶光，X 平台有名 AI 博主 Aran Komatsuzaki 自己写了一首歌，专门用来表达对另一位 AI 科学家 ——Gary Marcus 的不满，还用当前大火的 Suno 把它天生了出来。要知道，过去，这些大佬们的口水战紧张便是发个帖子，然后你来我往地跟帖。这次，Aran Komatsuzaki 的做法可谓是玩出了新花样，不知道是不是从「谢帝谢帝我要 diss 你」得到的灵感。
和 Aran Komatsuzaki 一样，国内外很多懂音乐、不懂音乐的人都在试玩 Suno 等 AI 音乐创尴尬刁难象，天生了很多非常故意思的音乐作品。
不过，有很多网友反响，Suno 有时天生中文不太稳定，会涌现中文歌曲带有英文感、生僻字唱错等问题。
B 站网友针对 Suno 天生的一首中文歌揭橥的评论。视频地址：https://b23.tv/gVqTUOu
那么，有没有一个 AI 音乐天生模型专门针对中文做过优化呢？
昆仑万维今日面向全社会开放公测的「天工 SkyMusic」便是这样一个模型。它天生的中文人声发音清晰、正宗、无异响，没有涌现「百老汇式中文歌」等水土不服的情形。而且，它不仅针对普通话做了优化，粤语、成都话、北京话等方言语种也照顾到了。
视频加载中...
视频链接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650914847&idx=1&sn=c41a2beca4285222d1aa5b8764097c55&chksm=84e40461b3938d7739f50e17b0313bfb461b268bccd3a5c1ef0f87f6dbf88c4c93b7e59dd081&token=1501617723&lang=zh_CN#rd
那么，和 Suno 比，天工 SkyMusic 表现如何呢？横向测评的数据显示，在人声和 BGM 音质、人声自然度、发音可懂度等几个指标上，天工 SkyMusic 都更胜一筹，综合性能超越 Suno V3，成为中国首个音乐 AIGC 的 SOTA 模型，也让中国的自研大模型技能第一次在 AIGC 领域领跑环球。
如此精良的表现自然离不开强大的基座模型，即昆仑万维在同一韶光发布并开源的大模型「天工 3.0」。该模型拥有 4000 亿参数，超越了 3140 亿参数的 Grok-1，是环球最大的开源 MoE 大模型。
在 MMBench 等多项威信多模态测评结果中，「天工 3.0」超越 GPT-4V，环球领先。
在这个基座模型的加持下，天工 SkyMusic 对歌曲的理解更为深刻。它能够通过歌词掌握感情变革，并实现如颤音、歌剧、吟唱等多种歌唱技巧，使天生的音乐作品情绪更加丰富且贴合情境。
音频链接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650914847&idx=1&sn=c41a2beca4285222d1aa5b8764097c55&chksm=84e40461b3938d7739f50e17b0313bfb461b268bccd3a5c1ef0f87f6dbf88c4c93b7e59dd081&token=1501617723&lang=zh_CN#rd
那么，这个模型详细怎么用？技能路线是若何的？它背后的「天工 3.0」又有何创新之处？我们一个一个来看。
首个国产音乐 SOTA 模型的无限玩法
实在，用天工 SkyMusic 天生歌曲是非常大略的：你只须要输入歌名、歌词，选择参考曲目，它就能天生风格、唱腔与之类似的歌。
如果你不想自己写歌词，也可以试试输入框右下角的「AI 写词」功能。它可以从第一句开始写，每次只天生一句，不满意的句子可以及时删掉，直至整首歌创作完成。
当然，你也可以考试测验用「天工 3.0」来写歌，比如这首《机器之心》便是我们用「天工 3.0」写出来的：
接下来便是选择参考歌曲，这也是天工 SkyMusic 的独特之处，即能够按照示例音源天生音乐。
在这一步，天工 SkyMusic 供应了很多参考曲目，你可以从中挑选，也可以选择上传歌曲文件。在这里，我们上传了一首洛天依的歌曲，看看天生效果如何：这种按照示例音源天生音乐的能力极大地丰富了天工 SkyMusic 的玩法。在用户作品展示区域，我们看到，光是《新造的人》（电影《周处除三害》插曲）就有古风摇滚、DJ 等五个版本。 在试用过程中我们还创造，实在，天工 SkyMusic 天生的音乐涵盖了说唱、民谣、放克、古风、电子等多种曲风。下一步，团队还操持让用户根据哼出来的旋律天生歌曲，这将对专业人士有很大帮助。
视频链接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650914847&idx=1&sn=c41a2beca4285222d1aa5b8764097c55&chksm=84e40461b3938d7739f50e17b0313bfb461b268bccd3a5c1ef0f87f6dbf88c4c93b7e59dd081&token=1501617723&lang=zh_CN#rd
目前，天工 SkyMusic 已全面开放，下载「天工」APP 就可以体验。这是海内目前唯一公开可用的 AI 音乐天生大模型，它的涌现补充了海内 AIGC 工具在这一领域的空缺。
虽然这个模型还处于起步阶段，但已经让很多人感想熏染到了音乐创作的乐趣。大家用它去改造神曲、二创金曲、改写古诗词助力教诲…… 开拓出了各种音乐创作新方向。
自研类 Sora 架构，技能路线图已公开
天工 SkyMusic 是一个端到真个音乐天生模型，因此我们用起来觉得非常大略。但是，全体模型的开拓却没有那么大略。
首先从技能路线来说，天工 SkyMusic 选择了大模型音乐音频天生路线，这意味着它直接学习并天生音频波形，而不是采取符号音乐天生路线（如 MIDI）来天生乐谱。这种方法许可乐器、人声、旋律、音量、音符等元素的一体化端到端天生，从而供应更直接、更高质量的音乐创作体验。但是，这个方向也更难，须要高昂的算力和资金，因此做的人非常少。
而且，在这个方向中，下决心去占领「人声 Song」领域的人更少，大部分研究集中于无人声的 BGM 领域，由于前者险些没有任何开放的资料或开源模型可供参考。
顶着这些压力，昆仑万维做了无数次研发实验，投入了大量算力，构建了包含 2000 万首歌曲的数据集（人类有史以来最大的音乐数据集），终于探索出了一个效果好、可复现的方案。而且，他们还把这个方案的技能事理图公开了。
天工 SkyMusic 技能事理图：Large-scale Transformer 卖力谱曲，来学习 Music Patches 的高下文依赖关系，同时完成音乐可控性；Diffusion Transformer 卖力演唱，通过 LDM 让 Music Patches 被还原成高质量音频。这套模型架构在处理视频、音频和音乐时效果极佳。
从图中可以看出，天工 SkyMusic 的框架是类 Sora 的 DiT 技能路径，不过研发韶光是在 Sora 问世之前，因此不可避免地要踩很多坑。
对付家当来说，这张事理图非常宝贵，由于市情上没有任何可用的 AI 音乐大模型企业公开自己的技能路径，包括 SUNO，昆仑万维是唯一一个。
强大的背后基座 —— 天工 3.0
天工 SkyMusic 的成功离不开它背后的基座模型 —— 天工 3.0。它最核心的升级表示在「独立思考」方面。这在该模型新增的多轮搜索与综合工具调用、图表绘制、研究模式、增强模式等功能中均有所表示。
给定一个数据统计任务，它不仅能够帮你把数据都网络完好，还能自己写代码、调用各种函数来绘制图表。各个中间步骤被拆解得条理清晰，后续的实行也基本不须要人去干预，乃至连「避免标签重叠」、「文本居中显示」这类细节都被考虑到了。这便是「独立思考」能力的表示。
视频链接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650914847&idx=1&sn=c41a2beca4285222d1aa5b8764097c55&chksm=84e40461b3938d7739f50e17b0313bfb461b268bccd3a5c1ef0f87f6dbf88c4c93b7e59dd081&token=1501617723&lang=zh_CN#rd
这种「独立思考」能力的提升离不开「天工 3.0」在语义理解、逻辑推理等方面的优化。与上一代「天工 2.0」MoE 大模型比较，「天工 3.0」在模型语义理解、逻辑推理以及通用性、泛化性、不愿定性知识、学习能力等领域拥有惊人的性能提升，其模型技能知识能力提升超过 20%，数学 / 推理 / 代码 / 文创能力提升超过 30%。
以搜索任务为例。在「搜索增强」模式中，给出一个大略的搜索要求，「天工 3.0」不仅会给出一段概括性的回答，还会把一些主要信息提炼成图表。
视频链接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650914847&idx=1&sn=c41a2beca4285222d1aa5b8764097c55&chksm=84e40461b3938d7739f50e17b0313bfb461b268bccd3a5c1ef0f87f6dbf88c4c93b7e59dd081&token=1501617723&lang=zh_CN#rd
在「研究」模式中，它还会供应一个「深入研究」模块，去展开谈论搜索 Query 中未提到的延伸问题，让你有一种在读论文的觉得。末了，它还把这些信息整理成了思维导图，方便迅速查阅。
视频链接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650914847&idx=1&sn=c41a2beca4285222d1aa5b8764097c55&chksm=84e40461b3938d7739f50e17b0313bfb461b268bccd3a5c1ef0f87f6dbf88c4c93b7e59dd081&token=1501617723&lang=zh_CN#rd
在语义理解、逻辑推理能力均大幅提升的根本上，「天工 3.0」还针对模型独立方案、调用、组合外部工具及信息的能力进行了专项演习。通过独立方案以及调用、组合外部工具及信息，它可以帮你精准高效地完成家当研究、产品横评、信息剖析等各种繁芜需求。
这种独立思考的能力对付人工智能大模型至关主要。首先，这种能力使得 AI 能够在缺少直接指令的情形下进行自主推理，提高其处理繁芜问题的能力；其次，独立思考的 AI 模型能够进行创新性的办理方案设计，知足个性化和场景化的需求；末了，这种能力匆匆使 AI 在碰着新奇或变革的环境时，通过自我学习温柔应来持续优化其性能。这三个方面的累积浸染，极大地推动了 AI 技能的运用广度和深度，使其在多种实际运用中表现出更高的智能和效率。
「天工 3.0」包含了 AI 音乐、AI 搜索、AI 写作、AI 绘画等多项大模型能力，谈到 4000 亿参数 MoE 大模型「天工 3.0」与天工 SkyMusic 背后的关系时，昆仑万维董事长兼 CEO 方汉阐明说，「大家知道 AI 底座大模型是 AIGC 坚实的根本，尤其是文今年夜模型。文生图、文生音乐和文生视频（这些 AIGC 模型）的能力根本都是文今年夜模型。如果文本模型能力不足强，AIGC 能力就会受到很大限定。」
这种浸染在「天工 3.0」的 AI 绘画等能力上也有所表示。「天工 3.0」新增了图片尺寸扩展、图片定向调度、垫图生图、垫图进化、垫图扩图等全新功能，实测效果精良。
「我们的 4000 亿大模型是给我们所有的面向 C 真个产品供应支撑的底座大模型。我的底座大模型做得越好，我的音乐、游戏、视频以及动漫产品就会做得更好。以是我们做底座大模型是有非常强的动力的。」方汉说到。
实现通用人工智能，
让每个人更好地塑造和表达自我
在关于 AGI 的愿景中，我们常常听一些AI企业高管提到，他们想要用 AI 工具来提高人类社会的生产力和效率。因此，他们大多专注于模型智力的扩展和增强。但在方汉看来，这个中忽略了一个主要问题，即如何用 AI 帮助人们更好地理解和表达情绪。
在天工 SkyMusic 的音乐作品区，我们看到了很多这样的例子：学生即将毕业的离愁、青年爱而不得的神伤、中年人养家糊口的怠倦都通过歌声表达了出来。这是真正的「以歌明志」。
而对付方言的支持则更像一种文化平权，这是方汉非常看重的一点。未来，他们希望把更多语种加进去，让每一个小语种人群都可以轻松创作出属于自己的文化内容。
「在 AIGC 领域，我们宏伟的目标是希望全天下每一个人都能平等地去创作内容。我们想要降落所有人的创作门槛，让大家都能更好地塑造和表达自我。」方汉表示。
最近，这些内容还被写入了昆仑万维的最新义务中。
实在，这种做法在商业上也是故意义的。「一旦大家都可以创作音乐之后，我相信任何一个公共场所，比如说每个餐厅、每个酒吧都可以创作出属于自己的背景音乐，来知足自己的业务须要。」方汉阐明说。
随着未来持续的优化完善，天工 SkyMusic 会逐渐演化成一个专业且易用的全民音乐创作平台。
当然，昆仑万维的发力方向不但是音乐。以「天工 3.0」为根本，他们已经形成了六大 AI 业务矩阵。未来，这些矩阵将组成一个 AI UGC 平台。
这个平台不仅能够帮助普通人表达自我，还能帮助那些想用 AI 创作内容的创作者完成 IP 创作的全闭环。这个闭环以「好的故事（IP）」为核心，超过文本、漫画、音乐和视频等多种形式，消费者的内容消费也都在这一个平台上完成，这是昆仑万维构建的商业逻辑。
「我们的实质是让更多人参加到创作者军队里面去。条件是你要会讲一个好的故事。如果你能够创作一个好的 IP，那么就能创作内容。可以预见到的是，所有内容行业都将被重做一遍。创作者人数将以百倍扩充，能够消费的内容也因此百倍扩充。人类将进入一个新时期，这也是我们提出『All in AGI 与 AIGC』计策的逻辑。」方汉说到。
这个时期将被塑造成什么样子？我们拭目以待