实验地点:西安电子科技大学科技楼
实验职员:博士研究生郝毅、华商报
实验顾问:西安电子科技大学通信工程学院ISN国家重点实验室教授、博士生导师王楠楠
>>实验
谁动了我的“脸”?
操作
手机拍摄两段小视频
数小时后实现“换脸”
视频换脸究竟是如何实现的?
在西安电子科技大学,博士研究生郝毅现场向华商报演示了这种视频换脸技能。
首先,郝毅和用手机各拍了一段十几秒的视频,两人对着镜头各自随意说了几句话。
随后,两段视频被导入电脑后,郝毅打开电脑上的一个软件,先后提取了两段视频中含有人物形象的每一帧静态画面中的人物面部图像,放到两个文件夹。郝毅先容,视频是由一帧一帧连续变革的静态图像构成,只管拍摄的视频只有短短十几秒,但两个文件夹中提取的面部图像帧数都在四百张旁边。
接下来,点击选择天生办法并进行相应操作后,便开始了人工智能模型(AI模型)的演习过程。软件界面上开始成排、成列地涌现和郝毅两人的面部图像,经由一系列的“演习”,这些图像终极呈现出两个人面部的稠浊特色。全体“换脸”过程,从上午10:50进行到下午3时才完成。最终生成的视频中,合成“人像”的身上还是的着装,但却有着郝毅的面部特色。此外,说话声音、面部表情、嘴型变革及发型,基本都和同等。
将这段视频拿给身边同事看,大家都以为很惊异,总的觉得是既熟习又陌生。
揭秘
面部被故意演习和代换
导致“A的表情B的脸”
郝毅先容,视频换脸也可以说是一种人脸重构或天生技能。它由两个构造相同的子系统组成,每个子系统分别包含一个编码器和一个解码器。把一张人脸图像输入到编码器后得到一堆数据,把它们通过解码器解码就会重新天生一张人脸图像。在这个过程中可以对人像进行扭曲。
把A、B两人的人脸信息分别输入编码器后,然后再分别通过解码器就可以重新天生各自的图像。在这个过程中,编码器是不分A、B的,完备用的是同一个编码器;但到理解码器这块,解码器A由人脸的特色数据只能天生A的人脸图像A,解码器B则只能将特色数据解码为B的人脸图像B。
这时,如果把经由编码的A的面部图像数据输入到解码器B,由于解码器B只能将特色数据解码为B的人脸图像,终极就会天生一个跟A的面部图像表情类似的B的人脸图像。当把视频中每一帧A的脸都换成B的脸,全部串联起来就会天生一个新视频,在这个视频中,就会是A的声音和着装,却是B的脸。当然,相同的事理,也可以把B的脸换成A的脸。
“和一些图片制作软件对静态图片进行的修正比拟,这种技能不但用B的脸换掉了A的脸,同时还会把A的表情及嘴型变革等面部信息也都领悟呈现在B的脸上,以是在换脸视频中,人物表情和嘴型都是自然变革的。如果做得足够风雅,很难一下子看出马脚。”郝毅说。
不过被"大众年夜众高度关注的换脸App,按其功能先容,只需一张照片就可以很快实现换脸,这是为什么?
郝毅先容,从事理来讲该当是一样的,但作为商业化的产品,该App该当是对算法进行了优化,对模型进行了改进。那些已有的视频模板相称于已经演习好的模型,而其编码器还可以用已有图像对人脸进行“演习”。人数足够多的话,利用大量的人物面部图像可以演习出很好的编码-解码系统。当你提交一张清晰的正面照给App,后台只须要利用这张正面照片对模型进行微调,即可完成换脸的操作。
>>安全
被盗用脸部ID有多恐怖?
据媒体宣布,2017年12月,国外一ID名为“deepfakes”的某网络论坛用户首次将自己制作的AI换脸视频发布在了网络上,这也是人类首次见证AI换脸技能的强大。当时,该用户把情色电影里的女主角换成了好莱坞明星。随后,由于大量受害者投诉,论坛迫于压力封杀了该账号,不过这次封杀却让“deepfakes”直接开源了其AI换脸项目的代码。
是否“换脸”咋鉴别?
负影响。很显然,如果该技能被不法分子利用,很可能成为其进行敲诈打单等犯罪行为的工具。据媒体宣布,目前AI换脸黑产已形成完百口当链。西安电子科技大学通信工程学院ISN国家重点实验室教授、博士生导师王楠楠认为,这些情形该当引起干系部门的特殊重视。
正浸染。“这种技能在电影制作方面也曾经有过正面案例,比如一咭片子演员在拍摄中途去世,后来利用这种技能完成了整部电影的制作。”王楠楠教授认为,假的东西用对了地方也会产生正向的浸染。
咋鉴别?王楠楠教授提醒,从实验过程来看,肤色、人种以及性别的差异都会影响到换脸的效果。而换脸过程仅针对人脸检测器检测到的方形区域进行变换,因此在额头、下巴、耳朵等区域由于肤色差异或光照影响,会产生一些不自然的纹理,同时脸型差异也会影响到换脸后拼接的效果。以是,这些都可以作为鉴别视频真假的办法。同时从技能层面来说,目前已开始发展反合成视频算法的研究,可以实现通过技能手段鉴别是否为合成视频。
防盗用。由于这种技能的涌现,须要大家特殊把稳的是,在网络环境种只管即便不要上传自己清晰的正脸照片,防止被造孽盗用。个人用户在利用软件合成进行娱乐时,应该把稳利用合法的、被干系法律法规约束的商业软件,防止自己供应的照片或合成的被盗用。
如何担保公民个人生物信息安全?
大数据供应海量资源,人工智能使数据剖析处理变得更加高效和聪慧,5G网络使得万物互联变为现实……在如今技能飞速发展的背景下,脸庞、声音、指纹、虹膜、基因等,这些对每个人来说都至关主要的生物信息,都可能在个人绝不知情的情形下被采集、被利用。对此,究竟该怎么做才能担保公民的个人生物信息安全?
西安交通大学苏州信息安全法律研究中央主任、陕西法学会信息安全法学研究会会长马民虎教授表示,“在打击暴恐犯罪、追查犯罪分子时,让司法机关利用人脸识别等新技能有利于及时破案,有利于将犯罪分子绳之以法,从而掩护社会稳定和谐,这种场景下利用这些技能是值得鼓励的。然而在商业活动中,如果不能合法、合理地利用新技能,就可能导致技能滥用,从而带来不利后果。我们须要让企业承担起相应的任务。利用技能过程中所引发的问题,应该由技能加以办理。这一不雅观点已经在欧洲引起共鸣。欧洲社会已达成共识,企业在利用技能的同时,必须对技能进行监督和掌握,以保障技能的安全性。企业不能只享受技能所带来的利益,却将风险转移给社会,让"大众年夜众承担风险。”
“目前最急迫的问题是对技能利用场景进行分类和规范。比如,酒店能否利用人脸识别技能?它对迅速办理入住手续到底有多大浸染?它和机场、高铁等交通部门利用这种技能有何差异?有关部门该当负责研究不同场景下利用技能的利弊和风险何在,利用和限定的边界何在。”
兜售个人生物信息的现状也要特殊把稳。一样平常来讲,我国明确规定不许可网络个人信息来进行买卖,但是出于开展业务的须要可以网络个人信息。这些网络的个人信息如何利用,如何保存,何时可以转让给第三方,都须要进行仔细考量。
此外,立法的同时也须要考虑当前技能发展的实际情形。当前,网络安全法及其配套法律都已逐步落地,但和技能的结合度不足,使很多规定不能落实。例如,企业可以利用技能采集大量的个人生物信息,但未明确采集信息时所应履行的责任及履行责任的办法。这类问题须要法律明确规定,须要用逼迫性手段来办理。
当前大家关注的是脸庞、声音、指纹等这些个人生物信息。现在,美国已立法对可以利用和限定利用基因信息的范围进行了明确规定。参考美国的做法,我们也可以对脸庞、声纹、指纹等生物信息的利用进行规范,从法律上对可以和限定利用的场景进行明确规范。
>>干系
美国已刮起“反AI换脸”热潮
担心修改照片会被用来扰乱明年总统大选
自从AI换脸技能涌现,“眼见为实”这个一贯以来被人们奉为信条般的生活履历可能面临崩塌。
该技能仍在进一步发展。网络展示的国外换脸视频显示,在一期视频访谈节目中,高朋的脸不断改变,但因变得太自然,竟让人看不出来究竟变了几次,乃至直到看完视频也不能确定访谈高朋究竟是谁。
美国加州大学伯克利分校一位打算机科学教授表示,随着用于制造AI换脸视频和图像技能的进步,其正变得越来越难被创造。而制造deepfakes的人一贯在不断地适应各种检测技能。“deepfakes的危险性很大,在极度情形下,一个deepfakes视频或图像有可能引发军事冲突或其他现实生活中的动荡。”
在美国,已经刮起“反AI换脸”热潮。据华尔街日报宣布,一些企业、政府机构和学术界都在与所谓的“deepfakes”作斗争,他们担心被修改的视频和照片会被用来扰乱明年的美国总统选举。学术界、政府机构和一些企业纷纭研究推出自己的图像、视频验证、标记技能,例如有的技能能在拍摄照片或视频的时候自动添加韶光、位置等信息,他们希望通过这些技能能够对抗AI换脸视频、图片带来的威胁。据媒体宣布,美国国防部近期也正在研究一项图像鉴定技能,该技能可用于检测照片或视频在制作后是否被修改。 华商报 马虎振 文/图