适用于任何人脸、任何措辞、可以无缝地与原始视频领悟,还可以匹配迁徙改变的脸型的口型。

霉霉说英文中文配音视频:(这个是剪映完成的,通过剪映-识别字幕-翻译中文-找个声音读出来,当然末了你自己配音也是没问题的。

视频加载中...

利用教程准备事情

1、本地环境须要python环境: python3.6

😱AI自动生成口型视频嘴型自动同步

2、须要音视频处理工具ffmpeg: sudo apt-get install ffmpeg

3、从远程git仓库中复制Wav2Lip模型下载到本地:

git clone git@github.com:Rudrabha/Wav2Lip.git

4、不才载下来的文件根目录打开终端运行pip install -r requirements.txt

5、点击下载人脸检测演习模型[2],下完之后把它放对应文件夹下 face_detection/detection/s3fd.pth,其名字为s3fd.pth

实行命令

python inference.py --checkpoint_path <ckpt> --face <video.mp4> --audio <an-audio-source>

--checkpoint_path <ckpt>: Checkpoint(理解为一个检讨点路径),转换完成的视频将默认放置到results文件夹下,这个ckpt可以指定路径。

--face <video.mp4>: 视频路径

--audio <an-audio-source>: 音频路径 (可以是.mp3,.wav,乃至支持视频文件)

基本实现事理提取音频特色: 通过利用声谱图等音频处理技能来完成。
提取视频帧: 从目标视频中提取一系列连续的视频帧,用作唇部动画的目标。
预测唇部运动:利用深度学习模型,如卷积神经网络或循环神经网络等模型,学习音频和唇部动作之间的对应关系,天生适宜于输入音频的唇部动画。
合成唇部动画:将预测的唇部运动序列运用于目标视频的唇部区域。
对齐和领悟。
渲染和输出:将合成唇部动画序列和目标视频的内容,终极合成唇部动画叠加在目标视频中,后期处理和调度。
效果

视频加载中...

总结

总的来说,Wav2Lip AI 的实现事理是利用深度学习仿照预测唇部运动,并运用于唇部区域,然后通过音频特色和视频进行逐一对应和合成的。
在很多领域都须要这种技能。

干系链接AI网站AI模型趋势以及排名[3]视频领悟语音[4] 以演习好的模型,同步任何视频到任何措辞任何音频,进行视频人物嘴型和语音领悟,免费。
hygen[5] 同步音色和口型,分分钟节制多国措辞,but要chatGPT4.0语音对话[6] 可仿照人喘息换气等,付费。
工具类油管视频解析[7]视频转音频[8]

☎️ 希望对大家有所帮助,如有缺点,望不吝见教,欢迎评论区留言相互学习。
感谢阅读,祝您开拓有乐趣。

原文链接:

https://juejin.cn/post/7294564003577823284

参考资料

[1]

https://github.com/Rudrabha/Wav2Lip: https://link.juejin.cn?target=https%3A%2F%2Fgithub.com%2FRudrabha%2FWav2Lip

[2]

https://www.adrianbulat.com/downloads/python-fan/s3fd-619a316812.pth: https://link.juejin.cn?target=https%3A%2F%2Fwww.adrianbulat.com%2Fdownloads%2Fpython-fan%2Fs3fd-619a316812.pth

[3]

https://www.aimodels.fyi/: https://link.juejin.cn?target=https%3A%2F%2Fwww.aimodels.fyi%2F

[4]

https://synclabs.so/: https://link.juejin.cn?target=https%3A%2F%2Fsynclabs.so%2F

[5]

https://app.heygen.com/create/draft?vt=l&poster=&tab=avatar: https://link.juejin.cn?target=https%3A%2F%2Fapp.heygen.com%2Fcreate%2Fdraft%3Fvt%3Dl%26poster%3D%26tab%3Davatar

[6]

https://chat.openai.com/auth/login: https://link.juejin.cn?target=https%3A%2F%2Fchat.openai.com%2Fauth%2Flogin

[7]

https://www.videofk.com/youtube-video-download: https://link.juejin.cn?target=https%3A%2F%2Fwww.videofk.com%2Fyoutube-video-download

[8]

https://www.aconvert.com/cn/audio/mp4-to-mp3: https://link.juejin.cn?target=https%3A%2F%2Fwww.aconvert.com%2Fcn%2Faudio%2Fmp4-to-mp3

- END -