一夜之间,「AI孙燕姿」火遍全网。

B站上,AI孙燕姿翻唱的林俊杰「她说」、周董「爱在西元前」、赵雷「成都」等等,让一众网友深陷无法自拔。

「冷门歌手」孙燕姿新晋成为2023年度热门歌手,掀起许多人的追星狂欢。

网友表示,「听了一晚上AI孙燕姿,出不去了......」

AI孙燕姿全网沸腾AI翻唱大年夜爆发全体华语乐坛都中兴了

这些翻唱歌曲,是由Eternity丨L、罗斯特_x等UP主通过开源项目低廉甜头后并上传。

(作者彷佛特意在「半岛铁盒」中加入了一秒空缺,凑成5分20秒)

UP主:Eternity丨L

除了AI孙燕姿,还有AI周杰伦,AI王心凌、AI林志炫...

可能许多人做梦也没有想到,2023年华语乐坛竟以这种形式复兴了。

「AI孙燕姿」在线业务

前段韶光,一位TikTok网友用AI创作了一首「Heart on My Sleeve」很快蹿红网络,引来1000多万人围不雅观。

听完这首歌的网友纷纭表示,太让我惊异了,切实其实太猖獗!

这首歌正是用两位美国盛行音乐人Drake和The Weeknd的声音创作而成。
先通歌手声音演习AI,然后再用AI来创作。

在海内,B站上AI翻唱的华语乐坛歌曲也逐渐成为许多人关注的焦点,孙燕姿、王心凌、周杰伦等明星纷纭「复出」。

而最火的莫过于孙燕姿,凭借「天后音色」的称号,直接成为AI新宠儿。

UP主:罗斯特_x

有人还低廉甜头了AI孙燕姿粤语版《爱来的太迟》。

然而,对付AI音乐制作,在全体音乐行业并非是一个新事物了。
只不过天生式AI的大火,让AI翻唱的门槛再次被拉低。

比如,年初,谷歌还曾推出了文本到音乐模型MusicLM,通过将音乐的天生过程视为分层的序列到序列建模任务,并以24 kHz的频率天生高保真的音乐。

对付许多歌迷来讲,AI翻唱一定程度上知足了自己的许多遐想。

还有一些歌迷,自己演习了已故经典老歌手的AI,包括阿桑、张国荣、姚贝娜、邓丽君等等。

这或许是一种数字永生,通过这样一种办法让久违的声音再次回到人们心里。

Midjourney出图逼真的超强能力,让人们惊呼画家要失落业了。
对付AI翻唱,难道歌手也要被去取代吗?

一位UP主@阿张Rayzhang用自己的音色演习出的AI唱Killer Queen后,瞬间觉得太胆怯了。

紧急录制一个视频后,并附上了「AI歌手会让翻唱区集体失落业吗?我被AI版的我爆杀!
」标题。

有网友称,自己便是AI第一批受害者画手,觉得什么职业也逃不掉。

有些人也表示,翻唱的有些地方一点也不像。

要知道,对付AI翻唱来讲,也须要丰富的特定艺术家音色演习数据,这样AI天生的作品才更加真实。

就目前的技能,虽然歌手的唱腔、技巧和风格等还不能完备模拟,但音色已经基本能完备复刻。

但是真正的大家是不能被取代。

AI翻唱火虽火,但由AI创作音乐的另一壁,是迫不及待的版权问题。

AI创作的「Heart on My Sleeve」在TikTok上风靡一时后,完全版被上传到了Apple Music、Spotify、YouTube等平台上。

就此,美国歌手Drake对此在Ins表达了不满,「这是(压去世骆驼的)末了一根稻草了」。
目前,这首歌由于侵权问题已经下架。

《金融时报》称,拥有Taylor Swift、Bob Dylan等巨星版权的环球音乐集团,正敦促Spotify和苹果阻挡AI工具从其艺术家的版权歌曲中抓取歌词和旋律。

但是有些艺术家却不吝啬自己的声音,马斯克前女友Grimes在网上表示,

「任何人都可以利用我的声音AI天生歌曲。
」不过,还得再付50%的版权。

而这次大火的AI翻唱背后的原始项目「so-vits-svc」的作者,据称也是由于太多人滥用,而删除了项目。

SoVitsSvc:唱歌声音转换

项目地址:https://github.com/svc-develop-team/so-vits-svc

歌声转换模型利用SoftVC内容编码器来提取源音频语音特色,然后将向量直接送入VITS,而不是转换为基于文本的中间格式。
因此,音高和腔调都可以被保留下来。

此外,项目开拓者还通过采取NSF HiFiGAN作为声码器(vocoder),从而办理了声音中断的问题。

· 特色输入改为Content Vec · 采样率统一利用44100Hz

· 由于参数的改变,以及模型构造的精简,推理所需的GPU显存明显减少。

· 增加选项1:vc模式的自动音高预测,这意味着在转换语音时不须要手动输入音高键,男声和女声的音高可以自动转换。
但是,这种模式在转换歌曲时,会造成音高偏移。

· 增加选项2:通过k-means聚类方案减少音色泄露,使音色与目标音色更相似。

· 增加选项3:增加NSF-HIFIGAN增强器,对一些演习集少的模型有一定的音质增强效果,但对演习好的模型有负面影响,以是默认关闭。

预演习模型文件

将checkpoint_best_legacy_500.pt放在hubert目录下。

将G_0.pth和D_0.pth放在logs/44k目录下。

预处理

0. 音频切片

利用audio-slicer-GUI或audio-slicer-CLI工具,将原始音频切片至5秒-15秒。

长一点也没问题,但太长(比如30秒)可能会在演习乃至预处理时导致「torch.cuda.OutOfMemoryError」,俗称爆显存。

切片后,删除过长和过短的音频。

1. 重采样至44100Hz和单声道

python resample.py

2. 自动将数据集分成演习集和验证集,并天生配置文件

python preprocess_flist_config.py

3. 天生hubert和f0

python preprocess_hubert_f0.py

完成上述步骤后,dataset目录将包含预处理的数据,dataset_raw文件夹可以被删除。

现在,你可以修正天生的config.json中的一些参数——

keep_ckpts:在演习中保留末了的keep_ckpts模型。
设置为0将保留所有模型,默认是3。

all_in_mem:将所有数据集加载到RAM中。
当某些平台的磁盘IO太低,而系统内存比你的数据集大得多时,可以启用。

演习

python train.py -c configs/config.json -m 44k推理

模型在须要利用「inference_main.py」。

举个例子:

python inference_main.py -m "logs/44k/G_30400.pth" -c "configs/config.json" -s "nen" -n "君の知らない物語-src.wav" -t 0

虽然原始项目组现已停滞掩护,但有不少网友都进行了fork并且也做了一些更新。

比如下面这个图形化界面:

项目地址:https://github.com/voicepaw/so-vits-svc-fork

AI「复活」

AI翻唱之外,许多网友此前曾做了类似的项目,比如「AI-Talk」让马斯克和乔布斯进行了穿越时空的对话。

视频中,AI不但仿照了他们的声音,还在一定程度上仿照了其对话思路,使得互换过程十分流畅。

AI让我们与逝者的对话成为可能。
此前,B站UP主用AI还复活了老奶奶。

对付老奶奶的声音制作,直接把过去已有的音频上传,素材基本来自于过去的电话录音、录像视频或者微信语音。

并用音频编辑软件AU进行调度,调度的方向紧张在降噪、人声增强等等。

然后将更加清晰的音频样本切割成多少秒的短句,方便进行标注。
末了将处理好的音频打包放入语音合成系统中去。

利用语音合成系统,就可以考试测验输入文本转语音了。

网友见证科技狠活

AI孙燕姿的歌,已经唱到许多网友的心田。

最近沉迷AI「翻唱」,上至AI侃爷唱罚酒,下至苏小玎曲稿相是真。
但说句正经的,确实还是AI届顶流孙燕姿的翻唱最好听。

这几天沉迷B站的AI孙燕姿,刚刚听了一首《一场游戏一场梦》,太好听了,唱到心田里

不少网友听过AI翻唱的歌曲后,感想熏染到AI歌手的恐怖之处:

科技的力量真是让人细思极恐。

深深感想熏染到了什么叫做科技的力量......

这便是AI生命,数字飞升!

还有网友对逝去歌手的怀念。

参考资料:

https://github.com/svc-develop-team/so-vits-svc

https://www.bilibili.com/video/BV1io4y1w73k/?vd_source=eecf800392d116d832e90ad1c9ae70f6