适用于任何人脸、任何措辞、可以无缝地与原始视频领悟，还可以匹配迁徙改变的脸型的口型。
霉霉说英文中文配音视频:（这个是剪映完成的，通过剪映-识别字幕-翻译中文-找个声音读出来，当然末了你自己配音也是没问题的。）
视频加载中...
利用教程准备事情
1、本地环境须要python环境: python3.6
2、须要音视频处理工具ffmpeg: sudo apt-get install ffmpeg
3、从远程git仓库中复制Wav2Lip模型下载到本地:
git clone git@github.com:Rudrabha/Wav2Lip.git
4、不才载下来的文件根目录打开终端运行pip install -r requirements.txt
5、点击下载人脸检测演习模型[2]，下完之后把它放对应文件夹下 face_detection/detection/s3fd.pth，其名字为s3fd.pth
实行命令python inference.py --checkpoint_path <ckpt> --face <video.mp4> --audio <an-audio-source>
--checkpoint_path <ckpt>: Checkpoint（理解为一个检讨点路径），转换完成的视频将默认放置到results文件夹下，这个ckpt可以指定路径。
--face <video.mp4>: 视频路径
--audio <an-audio-source>: 音频路径 （可以是.mp3,.wav,乃至支持视频文件）
基本实现事理提取音频特色: 通过利用声谱图等音频处理技能来完成。提取视频帧: 从目标视频中提取一系列连续的视频帧，用作唇部动画的目标。预测唇部运动：利用深度学习模型，如卷积神经网络或循环神经网络等模型，学习音频和唇部动作之间的对应关系，天生适宜于输入音频的唇部动画。合成唇部动画：将预测的唇部运动序列运用于目标视频的唇部区域。对齐和领悟。渲染和输出：将合成唇部动画序列和目标视频的内容，终极合成唇部动画叠加在目标视频中，后期处理和调度。效果视频加载中...
总结总的来说，Wav2Lip AI 的实现事理是利用深度学习仿照预测唇部运动，并运用于唇部区域，然后通过音频特色和视频进行逐一对应和合成的。在很多领域都须要这种技能。
干系链接AI网站AI模型趋势以及排名[3]视频领悟语音[4] 以演习好的模型，同步任何视频到任何措辞任何音频，进行视频人物嘴型和语音领悟，免费。hygen[5] 同步音色和口型，分分钟节制多国措辞，but要chatGPT4.0语音对话[6] 可仿照人喘息换气等，付费。工具类油管视频解析[7]视频转音频[8]☎️ 希望对大家有所帮助，如有缺点，望不吝见教，欢迎评论区留言相互学习。感谢阅读，祝您开拓有乐趣。
原文链接：https://juejin.cn/post/7294564003577823284
参考资料[1]
https://github.com/Rudrabha/Wav2Lip: https://link.juejin.cn?target=https%3A%2F%2Fgithub.com%2FRudrabha%2FWav2Lip
[2]
https://www.adrianbulat.com/downloads/python-fan/s3fd-619a316812.pth: https://link.juejin.cn?target=https%3A%2F%2Fwww.adrianbulat.com%2Fdownloads%2Fpython-fan%2Fs3fd-619a316812.pth
[3]
https://www.aimodels.fyi/: https://link.juejin.cn?target=https%3A%2F%2Fwww.aimodels.fyi%2F
[4]
https://synclabs.so/: https://link.juejin.cn?target=https%3A%2F%2Fsynclabs.so%2F
[5]
https://app.heygen.com/create/draft?vt=l&poster=&tab=avatar: https://link.juejin.cn?target=https%3A%2F%2Fapp.heygen.com%2Fcreate%2Fdraft%3Fvt%3Dl%26poster%3D%26tab%3Davatar
[6]
https://chat.openai.com/auth/login: https://link.juejin.cn?target=https%3A%2F%2Fchat.openai.com%2Fauth%2Flogin
[7]
https://www.videofk.com/youtube-video-download: https://link.juejin.cn?target=https%3A%2F%2Fwww.videofk.com%2Fyoutube-video-download
[8]
https://www.aconvert.com/cn/audio/mp4-to-mp3: https://link.juejin.cn?target=https%3A%2F%2Fwww.aconvert.com%2Fcn%2Faudio%2Fmp4-to-mp3
- END -