量子位 出品 | 公众年夜众号 QbitAI
近日，MIT（麻省理工学院）的打算机科学与人工智能实验室（CSAIL）里，多了个懂音乐的AI PixelPlayer。
有它助力，音乐小白也能一键轻松将器乐大合奏视频中的每种乐器单独提取出来，享受器乐独奏。乃至，你也能将每种乐器的声音增大或减小，就像下面这样——
AI在手，DJ我有。
有了这种操作，那岂不是大家都可以成为音乐后期制作人？
好学DJPixelPlayer是只好学的AI，从音乐小白到调音大师的进阶之路上，研究职员没有供应人类标注过的乐器和音色的对应关系。
这只AI学习的素材也很大略，用60多个小时无标签器乐演奏的视频喂食，成熟的PixelPlayer就会具备自动识别并分离不同乐器声部的技能。并且能够在视频的每个像素上定位声源，联合解析声音和图像。
现在，PixelPlayer已经能够识别20种音色了。对付之前没有听到过的乐器，PixelPlayer也能“揪个现行”出来。
之后，你就能根据自己的爱好自由调节各个声部的声音了。
当你听交响乐时，迷恋小提琴的声音？那就一键把它调大点嘛。
如何调教一个DJ AI?PixelPlayer是如何出身的？在论文The Sound of Pixels中，Hang Zhao、Chuang Gan等研究职员解密了全体过程。
接管了大量视频的演习后，PixelPlayer将进行视听源进行分离和定位时，会把输入的声音旗子暗记分成N个声道，每个声道对应不同的乐器种别。此外，PixelPlayer对声音定位时，并为输入视频中的每个像素分配不同的声波。
在将两个视频的音频旗子暗记稠浊时，MIT研究职员提出了一种Mix-and-Spparate的演习模型，可将不同来源的音频混在一起，而无需传统方法中的监督过程。
目前，这篇论文已经被今年的ECCV（欧洲打算机视觉会议）组委会吸收。
与这项研究类似的还有两个兄弟研究，均探索了图像和音频结合后对分离声音的帮助。
一是论文Looking to listen at the cocktail party: A speaker-independent audio-visual model for speech separation，借助人类外面办理鸡尾酒问题。
论文地址：
https://arxiv.org/abs/1804.03619
二是论文Audio-visual scene analysis with self-supervised multisensory features，这个声音-图像系统可分离屏幕中可见的物体的声音和不可见物体的声音。
论文地址：
https://arxiv.org/abs/1804.03641
干系资料项目地址：
http://sound-of-pixels.csail.mit.edu/
论文下载地址：
https://arxiv.org/pdf/1804.03160.pdf
作者系网易新闻·网易号“各有态度”签约作者
— 完 —
演习生招聘
量子位正在招募活动运营演习生，策划实行AI明星公司CEO、高管等参与的线上/线下活动，有机会与AI行业大牛直接互换。事情地点在北京中关村落。简历欢迎投递到quxin@qbitai.com
详细细节，请在量子位公众年夜众号(QbitAI)对话界面，回答“演习生”三个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技能和产品新动态