量子位 出品 | "大众年夜众号 QbitAI
细思极恐的事情还是来了。
斯坦福和普林斯顿大学等最新研究：给定任意文本，就能随意改变一段视频里人物说的话。
并且，改动关键词后人物口型还能对得奇准无比，丝毫看不出修改的痕迹。
就像下面这样：
https://www.ixigua.com/i6699326053518672398/
苹果今日收盘价191块4，改成182块2你也看不出来。
让新垣结衣向你表白，让石原里美大声喊出你的名字，乃至随便根据某个人的视频假造个人陈述……现在都不在话下。
手握这项技能，在视频中让你怎么说你就怎么说，让你说什么你就得说什么，谁也看不出来这是假的。
有视频有原形？现在已经彻底过去了。
可能由于技能过于强大真是，研究职员还在项目主页上特意声明，这项技能一旦被滥用会造成恐怖的后果，公布技能只是用于向公众科普，还呼吁干系部门建立干系法律……
这项研究的论文中选了打算机图形学顶会SIGGRAPH 2019。
来看全部效果展示↓↓↓
天衣无缝P视频这个技能可以完成对视频多种类型的修改。
功能1：改变人物台词
改变视频里的关键词，用假信息更换真内容，后果不要太恐怖。
开头视频链接便是这个功能的展示。
功能2：改变人物嗓音
就算用合成的嗓音改造视频主角，也可以把人物口型调的宛如原生。
功能3：随意删除信息
纵然你删掉视频中的部分关键词，也可以保持语音和图像的连贯。
有些话你说了么？你以为说了，但看起来便是没说~
功能4：合进视频背景
AI将视频里人物的内容补充进完全视频：
功能5：连贯视频
此外，这项技能还能把磕磕巴巴的演讲/对话等视频，拆开后重新拼接，变成流畅画面。
想看效果展示可移步：
https://www.ixigua.com/i6699326053569004045/
结巴的救星、镜头恐怖患者的福音便是它了。
研究职员进行了不同维度的测评，创造这项技能的效果在同类产品中领先了不少。
将此方法与深度视频人像（Deep Video Portraits，DVP）方法输出的人物渲染图像比较，新技能终于看起来不那么诡异了。
比如牙齿的合成效果：
比如衣服细节的合成效果：
与传统删除视频场景的MorphCut技能比拟，MorphCut在第2、3、4帧的场景删除任务中失落败了，而新技能可以成功切除：
与Face2Face的面部改造技能比较，新技能避免了画面中涌现的“鬼影”，合成画面也更加高清、稳定。
末了，研究职员还约请了138位志愿者，来评估这种方法的真实性如何。
这些志愿者去判别“这个视频是不是真实”，如果赞许真实则给5分，完备确信是假的就给1分，结果显示，这项技能在很多时候，已经让损失了对视频真假的准确判断。
AI对口型
自动合成某个人的语音，已经有许多算法可以做到。这里，团队利用了原来视频主角的录音，而在不须要原声的部分，用了Mac自带的语音合成工具。暂不赘述。
这项研究最闪亮的部分，是流畅自然的“对口型”。
左手拿着视频，右手拿着文本，团队利用了五步法：
第一步：视频和文本要对齐
这里须要的是非常细致的对齐，精确到音位 (Phoneme) 。
音位是什么？那是人类措辞里能够区分语义的最小声音单位，分成元音和辅音。
找到特定的元音辅音，就能组成你要的单词，或者句子。
每种音位，又有各自对应的口型。以是在对口型任务里，视频和文本之间的精准对齐很有必要。
团队用的对齐工具叫P2FA：除了分辨出各种音位，还会把每个音位开始和停滞的韶光标记出来。
当然，如果手头数据只有视频没有文本的话，也可以用自动语音转录工具来天生文本，这类运用已经很常见了。
第二步：3D人脸追踪和重构
要为视频的每一帧，注册一个3D参数人脸模型 (3D Parametric Face Model) 。
模型里的各种参数，会在后面的步骤中稠浊 (Blending) ，发生奇妙的反应：
比如，用某一帧的面部表情，搭配另一帧的头部姿势/朝向，组成新的一帧。
为了得到3D参数模型，团队从前辈的研究里借鉴了单目的、基于模型的人脸重构算法 (Monocular Model-Based Face Reconstruction) 。
这类算法，可以把头部姿势参数化，把脸部几何参数化，还有脸部的反射率、表情，以及场景中的光芒，都可以参数化。
于是，视频的每一帧都得到了257个参数的向量。
第三步：唇形搜索
刚才的风雅对齐，现在派上用场了。
就像上文提到的，每种音位对应了各自的唇形。但不同音位也可以有相似的唇形，可以通用。
比如，想把蜘蛛 (Spider) 改成狐狸 (Fox) ，原来须要“f”的唇形和“ox”的唇形。
不过，“v”和“f”从视觉上看并没有太大差别。如果，视频里讲过毒蛇 (Viper) ，只要把“v”的唇形提取出来，和“ox”的唇形拼到一起，也能组成“fox”的动作。
根据文本，可以从视频里面，把须要拼接的片段，从视频里面抽出来。
第四步：重新定时，参数稠浊
可四下提取出来的片段，还不能直接拼到一起。有两个主要的问题须要办理：
一是，音位视频里提取的音位，可能动作知足哀求，但时长就不一定跟新台词吻合了。
二是，两个须要连在一起的片段，可能在原始视频里相距很远，说话人头部的位置、姿势都会发生变革，直接拼起来就会不连贯了 (下图右) 。
想天生连贯自然的视频，前面做好的3D人脸参数模型，便是这里的大招：
把头部姿势、面部表情、反射率、场景光芒等等参数，都放在一个参数空间里面去稠浊 (Blend) 。
这个过程，包括给各个片段重新设定时长，也包括把头部动作变连贯。
除此之外，为了避免摄像头移位带来的背景变革，还须要选择一个背景序列。
这样，一个流畅的背景视频就做好了。
之以是叫“背景视频”，是由于在这个步骤里，嘴部动作被提前抠掉了，以是还有下一步。
第五步，脸部渲染
末了一步，演习一个循环网络 (RNN) 作为GAN的天生器，加上一个韶光空间判别器：
让GAN把嘴部动作 (下半张脸) 和背景视频，无缝稠浊到一起。
到这里，随着新台词对口型的视频，就愉快地天生了。
作者先容这篇研究的作者共有10人，都带着闪闪发光的履历。
他们来自较为有名的机构，包括斯坦福大学的Ohad Fried、Michael Zollhöfer、Maneesh Agrawala，普林斯顿大学的dam Finkelstein、Kyle Genova，马克斯·普朗克信息学研究所的Ayush Tewari、 Christian Theobalt和Adobe的Eli Shechtman、Zeyu Jin，此外还有DAN B GOLDMAN。
一作Ohad Fried为现在为斯坦福大学的博士后，与印度裔教授Maneesh Agrawala互助，紧张研究打算机图形学、打算机视觉和人机交互。
Fried小哥本科和研究生毕业于希伯来大学，博士去普林斯顿进行深造，随后在谷歌、Adobe等演习过。
二作Ayush Tewari目前是马克斯·普朗克信息学研究所博士三年级在读，此前有多篇论文被顶会收录，包括一篇ECCV 18、两篇CVPR 18和一篇ICCV 17。
作者团队中还有一位华裔成员，是来自Adobe的研究科学家ZEYU JIN。
ZEYU JIN的个人主页显示， ZEYU紧张研究方向是语音和音乐合成，视频中用到的音频处理软件Adobe Project VoCo便是ZEYU主导的项目。
技能“太吓人”
末了，在这个项目的主页地址，里面还有研究职员的专门声明：
这个基于文本的视频编辑方法，为更好的电影后期编辑打下了根本。
原来，电影里的对话要重新定时或者修正，须要繁琐的手动事情。但现在AI可以依赖文本，更好地调度视频里的图像和音频。
除了影视作品，技能也可以用于传授教化视频，或者给儿童讲故事的运用。
但这种技能，也有被滥用的隐患。行为不良的人可能用这样的方法来来假造个人陈述，诋毁有名人士。
以是，视频中要有明显证据表明它是合成的，这一点至关主要。比如在视频里直接陈述，或者加入水印标明这一点。
并且，技能社区该当连续发开拓识别假视频的技能，在减少滥用的同时，为有创造性的合法利用供应空间。
末了，我们认为有必要进行强有力的公开谈论，建立适当的法规，平衡这类工具的滥用风险与创造力的主要性。
他们强调，这项技能一旦被滥用会造成恐怖的后果。
到底多恐怖？不只颠覆一行一业，也对现有的伦理和法律提出新寻衅，随便举几例：
在deepfake刚刚兴起的时候，就有不少人评论称，娱乐行业，靠脸用饭的流量小生，利用好这项技能，结合换脸AI deepfake和语音合成，真的就能靠脸用饭。
台词功力？表情演技？都不主要，乃至有个替人方便换脸就好。
现在，利用这一技能修改的人物口型险些一样平常人难辨真假，如果有人借新闻主播之口制造一段假新闻，就可能引起大众的惶恐。
在安防监控领域，视频里的人说了什么、做了什么，真的就可信吗？这项技能可怖不在于让视频中的人和事“从有变无”，而是有能力“无中生有”。
AI技能进展太快，现有伦理道德和法律法规，是时候重新考量了。
你说呢？
末了，附上论文传送门
论文Text-based Editing of Talking-head Video地址：
https://arxiv.org/abs/1906.01524
— 完 —
诚挚招聘
量子位正在招募编辑/，事情地点在北京中关村落。期待有才华、有激情亲切的同学加入我们！
干系细节，请在量子位公众号(QbitAI)对话界面，回答“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技能和产品新动态