写歌、画画、写诗……这不，刚又学会了填词。
我们给这个AI放了一首钢琴曲，曲调非常悠扬平和。
然后，它天生的部分词是这样的：
各位觉得如何？
个中，天生过程的动态效果看着还不错：
当然，它可以很好地分辨不同风格的音乐：给安静的钢琴乐天生的词与给喧华的摇滚乐天生的会完备不一样。
不过，鉴于目前的填词效果（比如有时无厘头的高下衔接），研究职员也表示：
这个工具也不是为了取代音乐家，而是成为一个引发音乐家创作灵感的工具，赞助他们创造出满意的作品。ps.此处在线cue周杰伦，御用词人试试AI？
如何分辨出不同风格的曲子？
这项研究来自滑铁卢大学，研究成果即将揭橥在ICCC 2021。
项目的动机源于个中一位研究员的个人兴趣。
这名研究员非常喜好音乐，以是她很好奇机器是否可以天生听起来像她最喜好的音乐艺术家风格的歌词。
终极做出来的系统叫做LyricJam，已有在线网页版供任何感兴趣的音乐人访问利用。
该系统通过将原始音频文件转换为频谱图，然后利用深度学习模型实时天生与音乐相匹配的歌词。
模型的架构由两个变分自动编码器（VAE）组成，一个用于学习音乐音频的表示，另一个用于学习天生歌词。
演习数据集由18000个原始歌曲的WAV音频片段和7种音乐艺术家的相应歌词组成。
首先利用CNN来根据频谱图将带歌词的音频，按风格分类身分歧“艺术家”。
然后演习一个条件VAE(conditional VAE，CVAE)“重修”原始歌词，根据不同类型音乐的歌词用词和表达办法的不同，天生一系列连贯的新歌词。
个中天生条件是前面预先演习的“艺术家”种类。
推理阶段，流程差不多：系统将实时录制的音频片段转换成频谱图，然后进行风格识别，为了天生最匹配的歌词，须要根据“艺术家”的种别从潜在空间中采样并对其进行解码，然后天生对应的歌词表达。
末了，利用基于GAN的对齐模型来对齐两种编码器天生的歌词和音频表示。
终极效果如何呢？
“非批驳性的即兴演奏伙伴”为了评估他们开拓的系统，研究职员进行了一项大略的用户研究，请来一批搞音乐创作的人来测试。
测试哀求音乐人现场演奏音乐并分享他们对系统所作歌词的反馈。
首先确定该系统是否能更准确地天生与音乐所产生的感情相匹配的歌词。
研究职员选用了5种不同乐器演奏的不同歌曲的片段，每段约10秒，用该模型的两种变体（下图中每组的第二三行）各天生一行歌词，再用一个基线模型（下图中每组第一行）天生歌词。
天生示例如下：
测试者需对以上3种词，进行打分，选出最匹配当前音乐的一种。
统共有15个人参与了这项研究，从下表可以看出，无论播放的歌曲类型如何，用户都更喜好后两个模型的歌词，而非基线模型的。
这解释，该系统可以天生匹配音乐风格的歌词。
末了，通过一系列问卷调查显示，大多数参与实验的音乐人都以为，LyricJam是一个非批驳性的即兴演奏“伙伴”，可以鼓励他们即兴创作并考试测验不同平凡的歌词表达办法。
其余，纵然中间改变音乐风格或考试测验加入新的和弦，歌词也能实时做出抒怀主题的变革。
末了研究职员表示，如果在更大的数据集上演习，填的词就更具有多样性了。
感兴趣的朋友可戳在线链接试玩，系统操作非常大略，录入一个音频就可以：https://lyricjam.ai/
论文地址：https://arxiv.org/abs/2106.01960
参考链接：
https://techxplore.com/news/2021-06-lyricjam-lyrics-instrumental-music.html
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一韶光获知前沿科技动态