最近云毕业正当时，各家科技公司顺势推出了自己的AI换脸技能，结果又被同学们玩坏了！
换脸这件事绝不能少了业界大佬们！
不得不说，好看是不分性别的，彦宏兄气质满分！
仔细来看，AI换脸技能近些年还是成熟不少，整体的面部贴合度、细节处理都有了明显的提升。近日，Deepfake领域再一次取得了主冲要破。据理解，迪士尼公司公布了一项最新研究成果，声称其人脸交流技能可达到业内最高水平。
从效果图来看，果真一点挑不有缺点！
据理解，迪士尼研究室与苏黎世联邦理工学院互助基于GAN提出了一种新型算法，它可以自动实现图像/视频中的人脸交流，同时担保数百万级的高分辨率。
更值得关注的是，目前这项研究成果已初步操持用于好莱坞大片制作，听说由于它可以改进电影质量和后期制作本钱。
走进好莱坞大片的Deepfake
人脸交流在电影行业并不罕见。在一些好莱坞大片常常会用到替人演员完成一些专业的、高难度动作。为了担保电影效果，后期制作会花费大量本钱。然而常见的打算机图形合成技能，效果常常差强人意，乃至会翻新重拍。
这在韶光和金钱方面都是非常大的本钱花费，因此，迪士尼公司特此联合苏黎世联邦理工学院开展了此项互助研究。
近日，迪士尼公司对完流传宣传，他们研究了一款新型人脸交流技能，可用于电影或电视剧制作。他们声称该技能可在人脸交流过程中产生高分辨率，逼真的图像/视频，非常适宜大屏幕播放。
局部领悟更磨练换脸的技能难度。为了验证算法性能，研究职员他们没有对人脸的眼部、唇部等局部器官进行了领悟，效果也是非常惊人。
基于图一，图二、三分别进行了唇部和眼部的局部人脸领悟，可以看出局部领悟度非常高，高清、自然，看不出一点马脚。同时它能够随着唇部抖动实时贴合，毫无跳脱感。而且研究职员证明，视频中的人脸交流一样平常比静态图像效果更好。
局部人脸交流在动态视频中的领悟上风，这在电影场景中是非常必要的。
更值得关注的是它可以产生百万级像素的分辨率。不过，研究职员表示他们采取了一种渐进式的方法（Progressive Training）对源视频/图像进行预演习，算法可从中提取较高分辨率图像。下图可明显看到经演习的人脸像素远高于未经演习的结果。
研究职员先容，基于高清分辨率和局部领悟技能的新型算法最大限度地扩展了人脸交流在电影中的运用。除了替人演员的全脸交流外，如须要刻画一位年事逐渐增长的任务或已经进入垂暮之年的老人，可以根据须要为角色添加细微皱纹、发型和体态。
其余，它可以与其他作品完成演出上的更换，当然这里可以对原视频的背景和光照进行分外处理，以使他可以融入电影场景中。这也是差异于传统后期制作的一种新方法。
基于梳状模型的最新算法
那么这项AI换脸技能是如何实现的呢？我们先来看一组完全的换脸路径图：
人脸交流源的完全示意图
步骤1和2：对源图像进行面部识别、特色提取，以及标准化剪裁（1024x1024）;
步骤3：将图像输入通用编码器进行模型演习；
步骤4：将解码后输出的图像与须要匹配的目标进行多频带稠浊，终极得到人脸交流后的效果图。
个中通用编码器的演习模型是一个关键，这里研究职员采取的是一种渐进式梳状网络构造（Comb Model）面部交流紧张是通过域转移的方法来实现。我们利用通用编码器将经预处理的图像嵌入共享的潜在空间中，然后利用与之对应的解码器将这些嵌入映射回像素空间中。常日域转移紧张在这两个空间中进行切换，但在本文中，研究职员扩展了一种新的思路。
如我们图中看到的，经编码器处理的图像，被解码器分支到P个域中，研究职员将这种架构成为梳状模型。这里各个编码器就相称于梳状构造的“齿子”。
在这里，单个梳状模型可以处理多个源目标的人脸领悟，而且与双向模型比较，它可以有效减少演习的韶光，同时明显提高图像的保真度。
如前文所说，模型演习采取的是一种渐进式的办法。该过程通过对高分辨率图像进行下采样，得到低分辨率图像，然后在演习中再逐步输入高分辨率，逐渐扩展网络的容量，终极得带高保真图像。
不过，这里要把稳的是，终极输出的图像分辨率会受到原始数据集图像分辨率的限定。如果数据集缺少高分辨率，可以采取超分辨率的办法对图像进行预处理，不过最好采取特定于面部的SR演习方法。
除此之外，研究职员先容，梳状模型和多频带的稠浊策略，还有助于保持领悟背景的光芒和比拟度。
比拟剖析，上风明显
研究职员将渐进式梳状模型与目前三种开源的人脸技能，分别为Deepfake、DeepFaceLab和Nirkin et aI进行了比拟研究。个中，Nirkin et aI采取三维可变模型，不须要预演习。后两者采取Y形自动编码器构造的实现。
人脸交流方法的比较
本次试验对五组人脸进行了比拟。前两列分别源图像和目标图像，须要进行AI领悟，从之后的图像可以看，本次研究模型在细节领悟、图像分辨率以及阴影处理上，要高于其他算法模型。
而且，它采取的多频带稠浊在肃清伪影方面要明显优于泊松稠浊。DeepFakes和DeepFaceLab都的利用是泊松稠浊（Poisson）。
不过，研究也存在明显的局限性，比如显示无法对戴眼镜的人进行稳定的人脸交流，不是由于眼镜部分无法渲染，而是无法将脸部与周围图像稠浊。研究职员曾考试测验调度输入源与之相匹配，但结果时好时坏。、
不过，研究职员也阐明在实际运用或电影场景中，可能影响不大。
引用来源：雷锋网雷锋网雷锋网
http://studios.disneyresearch.com/2020/06/29/high-resolution-neural-face-swapping-for-visual-effects/
https://techcrunch.com/2020/06/29/disney-research-neural-face-swapping-technique-can-provide-photorealistic-high-resolution-video/
https://gizmodo.com/disneys-developed-movie-quality-face-swapping-technolog-1844202003