作者 | 金玙璠 苏琦

编辑 | 魏佳

封图 | 来源于Bilibili Up主AI王子

来源 | 燃财经(ID:rancaijing)

鹿晗都有 AI 粉了为什么 AI 换脸剧的效果还这么渣

“科技改变追星生活。

近日,B站上涌现了多个鹿晗AI换脸的视频,由于换脸后的人脸轮廓、表情非常自然,加上鹿晗本人颜值出挑,很多网友自称成了鹿晗的AI粉。

B站截图

这些视频多由UP主制作并上传,时长约2-4分钟旁边。

与此同时,日前同样由于AI换脸被推上热搜的古装网剧《三千鸦杀》迎来大结局。
剧中被换脸的角色“青青”就没这么幸运了,不但没有AI粉,自开播以来就因“技能太差”被网民“群嘲”是车祸现场,“五分钱换脸”“画面有点诡异”“一个人毁了整部剧”等评论充斥在弹幕和微博评论中。

《三千鸦杀》中的AI换脸效果呈现

片方换脸的缘故原由是,剧中“青青”一角的饰演者刘露因大闹公共场所被拘留,如今替代刘露饰演青青一角的演员是张鼎鼎。
但呈现出的效果差强人意,角色换脸后的五官明显大于凡人,表情生硬,脸部边缘还涌现了模糊、扭曲的情形。

“片方想要挽回‘劣迹艺人’造成的丢失可以理解,但是处理办法过于低劣。
如果选择AI换脸,至少也要达到之前B站up主‘换脸哥’混剪的效果,结果呈现出来的是美图秀秀的水平,面部扭曲、表情生硬、脖子和头颜色完备分离。
”在影视行业事情6年的陈倾对燃财经表示。

AI换脸并不是首次运用在国产影视剧中,2019年播出的《封神演义》《光荣时期》《长安十二时辰》以及刚刚完结的《光阴与你都很甜》中,都利用了该技能,但效果不尽如人意。

大略来说,这是一种先通过视频/图片采集一位演员的面部表情,再通过转换编码给另一位演员“换脸”的技能。
此前这项技能进入公众年夜众视野,是2019年B站up主“换脸哥”将94版《射雕英雄传》中朱茵的脸更换成杨幂,以及陌陌旗下的ZAO App在朋友圈掀起的“换脸”风潮。

多位业内人士对燃财经表示,《三千鸦杀》中的换脸效果的确不太空想,但背后不是只有技能缘故原由这么大略。
这次影视剧中被“群嘲”的AI换脸操作与ZAO比较,为何效果不佳?AI换脸本钱如何?自娱自乐效果尚可,一商用就“露怯”,这项技能是否真的有运用市场?

要点速览:

• 《三千鸦杀》背后的换脸团队该当是在DeepFake开源算法的根本上做了一些优化,但在表情和动作,尤其是脸部边缘处理上存在一些问题,以是用户以为效果僵硬;

• ZAO是开卷考试,所有题目都已经做过,烂熟于胸;而影视剧中的AI换脸属于闭卷考,做的题目都是没学过的,只是利用原来学过的一些知识和履历去重做一遍,效果差距自然很大;

• 目前市场上AI换脸的价格大概是1.5万元/分钟,手动换脸的价格在十几万元/分钟,即便是大略的内容,最低市场报价也要在5-6万元/分钟;

• 很少有公司单做AI换脸这一项业务,由于研发本钱没有其他的落地项目来摊销,盈利很难。

被群嘲的AI换脸术比不过ZAO?

AI换脸技能最早涌如今2017年,也被叫做“深度假造技能”(DeepFake),大略来说,便是通过人工智能深度学习技能将视频中涌现的人脸更换成另一张脸。
这一技能的鼻祖是一位名叫“DeepFake”的开拓者。
同年,他将这项技能开源,他的名字也就成了AI换脸技能的统称。

智能互动视频播放器技能平台极链科技Video++联合创始人董慧智见告燃财经,DeepFake这套算法的弱点就在于,脸部边缘的处理,尤其是在较为夸年夜的脸部表情处理上,还没有做过深度处理,因此每家公司在实际利用中都要自己做一些优化处理。

他从《三千鸦杀》的换脸效果判断,“背后的换脸团队该当是在DeepFake开源算法的根本上做了一些优化,只是优化得不是特殊好,在表情和动作,尤其是脸部边缘处理上还是存在一些问题,因此从用户角度来看效果确实比较僵硬”。

《三千鸦杀》因角色AI换脸在微博被“群嘲”

这次AI换脸的效果,也被浩瀚用户拿来与曾经火爆一时的换脸工具ZAO进行比拟。

2019年8月30日,“仅需一张照片,出演天下好戏”的ZAO App上线,它也是基于DeepFake算法演化出的产品之一。

ZAO App的功能先容

在瑞莱聪慧RealAI产品卖力人唐家渝看来,“实在ZAO的大部分视频脸部边缘处理得也不是很好,估计是它的建模过程学习到的特色也不是特殊好。

ZAO的效果虽然看起来略好一些,但也不代表技能一定更优,由于两者利用场景不同,难度不同。

“AI技能的核心在于演习的过程,演习后的模型运用于同一领域,很多算法的准确度可以靠近100%,这是AI有上风的地方;但缺陷是与人类比较,AI的遐想能力较弱,没有演习过的内容险些不会。
”董慧智说。

众所周知,ZAO里可供用户换脸的影视剧片段是特定场景,也便是说,技能难度相对较小。
董慧智剖析,ZAO背后须要演习的韶光比较长,须要选定视频库中的片段,对个中男女主角的脸部进行永劫光的学习和演习,不断调参,经由线下预处理再上线,用户的利用效果自然不错。

而影视剧中的临时换脸难度更大,须要在短韶光内,对一个未经演习的影视剧进行AI批量换脸。
董慧智对燃财经表示,AI分演习和推理两个阶段,前期演习的过程很长,可能要一到两周乃至几个月,而一次推理过程也便是几百毫秒。
因此一样平常情形下,供应技能的AI公司受限于本钱和韶光哀求,只能用有限的样本来演习模型,推理时却面对的是海量多样化的视频,效果不是特殊空想。

在董慧智看来,两者难度的差异相称于,ZAO是开卷考试,所有题目都已经做过,烂熟于胸;而影视剧中的AI换脸属于闭卷考,做的题目都是没学过的,只是利用原来学过的一些知识和履历去重做一遍,效果差距自然很大。

AI换脸的真实水平与本钱难题

据唐家渝先容,影视剧AI换脸的效果与剧中人物的角度正面与否、光照条件有直接关系。
也便是说,如果采取比较前沿的算法,上述两个条件较好的情形下,数据采集充分,终极建模的效果会比较好,肉眼基本难以分辨,除非场景的繁芜度较高,比如脸部被一片树叶遮挡,这就须要后期的人工修复了。

“我看剧(《三千鸦杀》)中有的片段,人物都是相对正面的角度,光芒看起来也还不错,在这样的情形下,换脸面部依旧没有贴合,解释技能确实一样平常。
”唐家渝说。

那我们看到的B站up主“换脸哥”以及“AI鹿晗”的作品,还有很多好莱坞作品为何能够以假乱真呢?

“有点炫技的意思。
”董慧智认为B站up主“换脸哥”的作品(将94版《射雕英雄传》中朱茵的脸更换成杨幂),该当是经由后期人工处理的,效仿好莱坞一些殊效软件,人工干预、韶光长、造价高。

94版《射雕英雄传》中朱茵的脸更换成杨幂

那么,AI公司如果接到影视剧换脸的任务后进行重新演习和运用是否可以?答案是可以,但要担保演习的速率足够快。
“这样做很不经济,相称于每造一幢小房子,就要请国际顶尖设计师来设计一遍,造价太高了。
”董慧智补充道。

在好莱坞电影史上,“换脸”技能早就被广泛运用于影视剧中,乃至创造出一个虚拟的真人出来,当然造价也是高得惊人。

最具代表性的要数2015年的《速率与激情7》,直接让去世的主演保罗·沃克“复活”了。
据此前外媒宣布,只用CGI(打算机合成图像)技能一项,就将这部电影的制作本钱从原操持的2亿美金提升至了2.5亿美金。

2019年上映的电影《双子杀手》更是将CGI技能向前推了一步,创造出一个减龄至23岁的威尔·史密斯,与真人版51岁的威尔·史密斯进行近身搏斗。

这不是纯挚的对男主角威尔·史密斯进行面部“减龄”,而是从肌肤、骨骼、眼睛、牙齿光泽各个方面进行再造。

《双子杀手》中真假威尔·史密斯近身搏斗的场景

要实现这样的效果,首先须要数据准备,通过传感器网络演员不同的脸部姿态、角度、表情以及光照的脸部图像,其次须要进行专门的数据处理,通过电脑进行数字维度上的转换,末了依照打算机系统对人脸表情变革的特色点,在虚拟形象上重构。
当然,在制作部门建模的时候参考了大量威尔·史密斯年轻时拍过的电影画面。

这一场真假威尔·史密斯的近身搏斗,只有4分钟的戏份,却须要后期团队花九个月的韶光调度和完善,难度之大、本钱之高可想而知。
听说光是这个CGI人物的制作用度便是威尔·史密斯片酬的2倍。

在本钱方面,此前有媒体宣布,目前市场上AI换脸的价格大概是1.5万元/分钟,手动换脸的价格在十几万元/分钟,即便是大略的内容,最低市场报价也要在5-6万元/分钟。

唐家渝从不同角度拆分AI换脸的本钱,一方面是算力的本钱,须要有高性能、一定数量的GPU,硬件的价格比较高;另一方面是拍摄、网络各种照片以及建模的本钱;此外,事后处理一些遮挡情形也须要一定的人工本钱。

手动P图换脸的本钱自然更高。
“如果我现在是影视制作方,演员出了问题,我肯定不会找手动换脸。
1秒的画面一样平常有23-30帧,每一帧都要手动换,本钱太高了。
”唐家渝表示。

也便是说,目前海内影视行业一旦碰着须要更换演员的突发情形,AI换脸比较手动换脸,是本钱可控的挽救办法。

AI换脸商业化前景几何?

《三千鸦杀》中的AI换脸效果呈现

据娱乐成本论矩阵号河豚影视档案宣布,《三千鸦杀》背后的AI换脸技能供应方,是一家受到成本市场认可,估值已达几十亿元的公司,但并不主营影视类项目,因此也不善于做影视剧中的AI换脸。

“很少有公司单做AI换脸这一项,盈利很难,由于研发本钱没有其他的落地项目来摊销。
”董慧智见告燃财经,“拖后腿”的成分,除了本钱、技能成熟度之外,还有供需双方对AI换脸技能的理解、预期相差较大。

“不只用户,包括影视剧的制作方、导演,对AI换脸技能都没有那么理解,他们由于以为‘既然ZAO都做得那么好了’,而对影视剧换脸的期望值过高。
”他认为这也是制约行业发展的很主要的成分。

但总得来说,董慧智先容,AI换脸技能在行业中紧张有两大商业化模式。

一种是向大的视频平台和制作方输出技能,类似于定制开拓,收取的是授权费+掩护费,这种办法本钱高,定价也高,一样平常都是百万量级;另一种是按单次需求的事情量(要换多少张脸,一共多少秒)收费,一样平常是影视剧制作方提出换脸需求,技能公司去实现。

详细到极链科技Video++,董慧智透露,“AI换脸”只是公司数十款产品中的一个,如此一来,80%的研发本钱是共用的,边际本钱也就更低。

而想要扩大商业化范围,隐私问题是一个绕不开的话题。
先前红极一时的ZAO,便是用户因上传的照片无法撤掉而担忧信息透露、遭遇诱骗等问题,纷纭弃用。

与ZAO类似,极链科技Video++的商业化方向之一是面向C端用户的技能办理方案,即让用户上传自己照片,和自己的idol演对手戏。
董慧智对燃财经透露,这一方面可以与影视剧的播放平台直接互助,也可以链接大平台的粉丝社区,未来有一定的商业代价,当然,也会吸取ZAO的前车之鉴。
“ZAO最大的问题是把脸部图像保存下来,才有了隐私侵权问题,我们会把稳避免这个问题。

除此之外,极链科技Video++还有两个商业化方向是,用人脸做emoji表情以及对短视频/直播中人物的再创作。

后者运用需求在B站伴随同人创作而崛起,一样平常而言,是将短视频/直播中的人物更换成动漫脸、GIF表情包等。
这一方向还在2018年的海内掀起了一股“虚拟主播”的热潮,由于媒体、教诲、医疗、娱乐、客服等多个领域和场景,无一不适用,于是搜狗、科大讯飞、斗鱼等大公司都进场试水。

这次疫情期间运用的AI主播

唐家渝供应了另一个商用方向。

众所周知,DeepFake的开源降落了AI换脸的技能门槛,但与之相应的黑产也快速成长,各种换脸情色视频和软件教程层出不穷,在海内已经形成了一个上游供应软件及技能、中游供应视频、照片定制、下贱售卖成品视频,乃至有的商家做的是百口当链的买卖。

越来越多的人开始抵制AI换脸,其风险在于经由AI换脸的合成照片、合成视频是人类仅凭肉眼无法识别的,部分乃至无法通过单一技能模型鉴别,很随意马虎被当作真实信息进行再次传播。
由于除了DeepFake,最常利用的AI换脸算法还有FaceSwap和Face2Face,不同算法天生的结果千差万别。

那么“反黑”,也便是通过利用鉴别器算法来打假,便是个不错的商业化方向。
国外最负盛名的是一家总部位于阿姆斯特丹的创业公司Deeptrace,在海内,RealAI是最早涉及这一领域的公司,去年底正式上线了针对Deepfake的深度假造视频检测工具。
目前,RealAI已经在金融行业做出反敲诈的办理方案,紧张运用于信贷风控领域。

总体来说,影视行业是目前AI换脸技能更随意马虎落地的场景,但眼下需求有限。
随着机器学习算法的快速学习与进化,AI换脸干系从业者要做的是,在烧钱的电影殊效和大家取之可用的入门级App之间,探求性价比和安全性最高的商用领地。

题图来源于Bilibili Up主AI王子。
应受访者哀求,文中陈倾为化名。

☞没有监控和日志咋整?老程序员来支招

☞朱广权李佳琦直播掉线,1.2亿人在线等

☞RPC的超时设置,一欠妥心便是线上事件!

☞拿下Gartner容器产品第一,阿里云打赢云原生关键一战!

☞深聊Solidity的测试场景、方法和实践,太详细了,必须收藏!

☞万字干货:一步步教你如何在容器上构建持续支配!

☞听说,这是当代极客们的【技能风向标】...

今日福利:评论区留言入选,可得到代价299元的「2020 AI开拓者万人大会」在线直播门票一张。
快来动动手指,写下你想说的话吧。