图源：unsplash
原文来源：arXiv
作者：Tijn Borghuis、Alessandro Tibo、Simone Conforti、Luca Canciello、Lorenzo Brusci、Paolo Frasconi
「雷克天下」编译：嗯~是阿童木呀、EVA
导语：现如今，随着技能的进步，自动音乐天生（automatic music generation）也随之发展，不断取得新的进展，在游戏、虚拟环境和娱乐家当等多种领域中都有所运用。电子舞曲（electronic dance music，EDM）领域便是个中之一，在这个领域中，DJ的任务是在给定播放列表的连续音轨之间得到无缝过渡。而最近，埃因霍芬理工大学的Tijn Borghuis教授、佛罗伦萨大学的Alessandro Tibo教授、伯尔尼大学和库内奥音乐学院的Simone Conforti教授、自由作曲家和音响设计师 Luca Canciello、以及Lorenzo Brusci教授和 Paolo Frasconi 教授提出了一种新的基于深度学习的系统，可以像DJ一样，实现不同流派的音乐之间，音轨的自动化过渡。
我们描述了一个基于深度学习的系统，该系统可以在电子舞曲（electronic dance music， EDM）领域中天生鼓点模式（drum pattern）。实验结果表明，这种天生的模式可以用于在不同的流派之间产生音乐性的声音和具有创造性的过渡，而这生平成过程对付该领域的从业者来说是意义重大的。
自动音乐天生（automatic music generation）是一个快速发展的领域，在游戏、虚拟环境和娱乐家当等多种领域中都有所运用。有关目标和技能的详细解释将在文中先容。电子舞曲（electronic dance music，EDM）领域是自动天生看起来特殊有发展前景的领域之一，由于它以其明确定义的文体形式为特色，具有高度受限的重复性构造。在这个领域中，在舞蹈俱乐部和广播电台中进行操作的“传统”唱片骑士（DJ）的范例任务是在给定播放列表的连续音轨之间得到无缝过渡。当单个歌曲音轨完备是预先录制时,DJ可用的紧张工具是将通过节拍匹配（beatmatching）精确同步每分钟的节拍（beats-per-minute，BPM）和感知上平滑的交叉淡入淡出（crossfading）（即逐渐降落一个音轨的音量，同时增加其他音轨的音量）相结合，偶尔借助均衡器和其他诸如混响、移相器（phaser）或延迟等在商用混音掌握台中常日可用的效果。然而，自20世纪90年代初以来，DJ便已经越来越普遍地利用采样器和合成器，这些采样器和合成器可以用于天生（作曲）即时、新颖的音乐部分，从而与预先录制的素材相结合。像DJ Shadow和DJ Spooky这样的艺术家确实已经证明了，划分DJ和电子音乐作曲的界线可能非常模糊。
图1：用于内插鼓点模式的变分自编码器的体系构造。顶部：编码器；底部：解码器。
在本文中，我们磋商了当连续音轨属于不同流派时，音轨过渡的自动化。以前所考试测验的自动音轨过渡都局限于韶光伸缩（time-stretching）和交叉淡入淡出，实质上是模拟传统DJ的人工事情。虽然这些方法可以有效地实现预先录制好的音轨（特殊是当音轨保持在相同音乐流派）之间进行无缝领悟的目标，但它们险些不符合当代场景，即DJ和作曲家通过创造性的办法进行超过流派的过渡以寻求艺术上有趣的结果。因此，我们提倡一种完备不同的视角，即由打算机自动天生（作曲）新的音乐素材，以便平滑地实现从一种流派到另一种流派的过渡。我们希望，通过以一种自动的办法探索这个平滑的音乐空间，我们可以创造出对音乐家有用的素材，作为他们创作和演出的新元素。因此，在这种新方法中，我们将过渡视为它们自己的作曲设备。根据长度的不同，过渡在舞曲中具有不同的功能:它们可以是短韶光上的瞬时音效（momentary sound effect），或者可以与更永劫光尺度上的频率扫描（frequency sweep）相媲美，或者乃至可以在更永劫光尺度上作为自动天生的根本，无论在现场演出还是后期制作中都可以添加音乐层。
图2：EDM数据集中的十个样本鼓点模式。（1）：低音鼓（2）：小军鼓（3）：闭合hi-hat（4）：开放hi-hat（5）rimshot（6）：cowbell。像素强度对应于MIDI速率。第一排：放克电子（Electro-Funk）；中间两排：IDM; 底部两排：Techno。
可以这样说，构建一个涵盖整套工具的通用插值工具超出了本文的范围。EDM领域中的流派类型紧张是由鼓乐器（drum instruments）的基本节奏构造决定的。因此，通过将这些鼓点样本作为实验的音乐素材，便可以回避与其他音乐领域的流派类型干系的诸如和声、旋律和音色等方面的繁芜性。与此同时，该领域仍旧非常繁芜，适宜于诸如DJ、制作人和电子音乐家等音乐专业人士在现实天下中加以利用。
图3：通过在其表示的空间中插入鼓点模式来构建过渡。
为了调查深度学习在舞蹈音乐流派之间进行转换的潜力，我们设计了一个基于变分自编码器（variational autoencoders）的学习系统，我们在一个我们所创建的不同流派的节奏模式数据集对其进行演习演习，然后我们哀求它在两个给定节奏模式之间天生插值。这种转换由一系列的节奏模式组成，从来自一个流派的给定模式开始，并以一个给定的目标模式结束（可能来自另一个流派）。而两者之间的连接模式是由经由演习的系统本身所产生的新的节奏模式。同样，我们还开拓了一种自动击鼓器（autonomous drummer），通过移动天生对抗网络的噪声空间，平滑地探索EDM鼓点模式空间。我们构建了一个实验性的软件工具，使得从业职员能够通过将学习系统嵌入Ableton Live（这是EDM生产社区内部常用的音乐软件工具）来创建插值。末了，对付我们所提出的用于创建插值的过程和产生的音乐材料，由一组专门为这项研究而招募的音乐家进行全面评估。
图4：顶部：在两个MNIST字符之间的模式空间（即，淡入淡出）中的插值；底部：表示空间中的插值。
可以这样说，我们的工具已经有了很大的潜在性运用。首先，它可以用来改进生产（和传送）鼓点模式库的过程，由于经由演习的网络可以以已演习数据所表示的风格天生大量的模式。其次，它可以以新的办法支持舞蹈音乐家的事情流程。所天生的插值音轨可以记录在工具内部，以创建用于后期制作或现场演出的片段，作为DJ或乐器演奏者可以将更多的音乐元素进行分层的根本。除此之外，VAE或GAN可以在由个人用户所制作的材料上进行演习，从而为用户供应高度自定义的软件工具，这种软件工具“知道”他们的个人风格，并且能够以这种风格产生新的鼓曲目以用于后期制作或演出。
在这项研究中，有多少个方向可以进一步丰富鼓声空间，包括为那些须要节奏随韶光变革的音轨天生节奏，以及用于在一个宽的音集里为选择鼓声所须要的附加信息的产生。一个更加故意义、寻衅性更大的方向是扩展我们在EDM中天生整套乐器（低音线、导线、垫片等）的方法，这不仅涉及音符出发点（note onsets），而且还涉及音高和持续韶光，而对付这一方向的研究，未来还要很大的探索空间。
原文链接：https://arxiv.org/pdf/1804.09808v2.pdf