量子位 宣布 | 公众年夜众号 QbitAI
写歌填词、调换风格、续写音乐的AI，本日又来做编曲人了！
上传一段《Stay》，一键按下：
伴奏和人声就轻松分离：
（点击链接听分离得到的人声、伴奏音频）
字节博士搞的AI火了，一键完美分离人声和伴奏 | 在线可玩
人声颇有种在空空地带清唱的清晰感，背景乐都能直接拿去做混剪了！
这样惊人的效果也引发了Reddit热议：
这项研究的紧张卖力人孔秋强来自字节跳动，环球最大的古典钢琴数据集GiantMIDI-Piano，也是由他在去年牵头发布的。
那么本日，他又带来了若何的一个AI音乐家呢？
一起来看看。
基于深度残差网络的音源分离这是一个包含了相位估计的音乐源分离（MSS）系统。
首先，将幅值（Magnitude）与相位（Phase）解耦，用以估计复数空想比例掩码（cIRM）。
其次，为了实现更灵巧的幅值估计，将有界掩码估计和直接幅值预测结合起来。
末了，为MSS系统引入一个143层的深度残差网络（Deep Residual UNets），利用残差编码块（REB）和残差解码块（RDB）来增加其深度：
残差编码块和残差卷积块中间还引入了中间卷积块（ICB），以提高残差网络的表达能力。
个中每个残差编码块由4个残差卷积块（RCB）组成，残差卷积块又由两个核大小为3×3的卷积层组成。
每个残差解码块由8个卷积层和1个反卷积层组成。
实验结果
接下来，将这一系统在MUSDB18数据集上进行实验。
MUSDB18中的演习/验证集分别包含100/50个完全的立体声音轨，包括独立的人声、伴奏、低音、鼓和其他乐器。
在演习时，利用上述系统进行并行的稠浊音频数据增强，随机稠浊来自同一来源的两个3秒片段，然后作为一个新的3秒片段进行演习。
以旗子暗记失落真率（SDR）作为评判标准，可以看到ResUNetDecouple系统在分离人声、低音、其他和伴奏方面明显优于以前的方法：
在溶解实验中，143层残差网络的表现也证明了，结合有界掩码估计和直接幅值预测确实能够改进声音源分离系统的性能。
作者先容
这项研究的论文一作为孔秋强，本硕都毕业于华南理工大学，博士则毕业于英国萨里大学的电子信息工程专业。
他在2019年加入字节跳动的Speech, Audio and Music Intelligence研究小组，紧张卖力音频旗子暗记处理和声音事宜检测等领域的研究。
论文：https://arxiv.org/abs/2109.05418
试玩：https://huggingface.co/spaces/akhaliq/Music_Source_Separation
开源地址：https://github.com/bytedance/music_source_separation
参考链接：https://www.reddit.com/r/MachineLearning/comments/pqpl7m/r_decoupling_magnitude_and_phase_estimation_with/
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一韶光获知前沿科技动态