量子位 出品 | 公众年夜众号 QbitAI
现在,只需一键,就能将你的照片转化成简笔画。
清华大学和英国卡迪夫大学的研究职员提出了一种名为APDrawingGAN系统,随意输入一张人脸照片,系统输出黑白人物线条画。
看一下详细效果。
这有三张女性头像,经由APDrawingGAN处理后,这些照片成为了手绘风:
男性头像也Hold住:
目前,研究职员已经将这个研究做成了名为“AI肖像画大师”小程序,进入小程序就能在线试玩。
量子位亲自上手,实测了这个小程序。输入一张DeepMind VQ-VAE二代模型天生的人物假脸:
大约一秒钟后,这张假脸的简笔画版就出来了:
彷佛创造了一个可以用来快速天生头像的神器啊~
这项研究来自清华大学和英国卡迪夫大学,成为今年的CVPR 19的口头报告。
独立丢失项
在论文APDrawingGAN: Generating Artistic Portrait Drawings from Face Photos with Hierarchical GANs中,研究职员揭秘了这个头像天生神器的事理。
在这项研究中,研究职员提出了一个层次化的GAN模型, GAN每个层次的输出都由独立丢失项掌握。
研究职员提出了一个丢失函数,里面包含四种丢失项,包括一种新型DT(间隔变换)丢失、局部变换丢失、对抗丢失和像素级丢失。
全体天生流程如下图所示:
对抗丢失卖力辨别图像真假,像素丢失驱动合成图像更逼真,局部变换丢失卖力将额外限定加至中间输出上。
在这四种丢失中,间隔变换丢失(DT丢失)起到了主要浸染。
在此前的照片转简笔化的研究中,常常涌现天生图与原图不能完备对应,让线条之间有些错位的问题。想要办理这个bug,就须要DT丢失亲自出马了。
研究职员阐明说,这种丢失能原谅眇小错位,从而惩罚更严重的无法对应问题。
至于模型的演习数据,研究职员低廉甜头了一个包含140张人脸照片与对应画像的数据集,命名为APDrawings,用来演习模型。
研究职员进行了一系列实验,与此的相似研究进行了效果比拟。
在上图中,从左到右依次为人类照片、人类手绘肖像、Gatys、CycleGAN、Pix2Pix和APDrawingGAN的天生结果,红框代表此前其他研究天生效果的瑕疵。
比拟来看,APDrawingGAN的天生效果线条最流畅,其艺术肖像风格化效果最好。
除了视觉效果的比拟,研究职员还比拟了CycleGAN、Pix2Pix和APDrawingGAN在FID评估指标下的得分。
测评结果显示,APDrawingGAN的FID得分最低,仅为62.14,表现最佳,而CycleGAN的得分87.82最高。
末了,研究职员找来73名志愿者,每位志愿者依次从两种算法天生的作品中选择质量最高的一幅,认为APDrawingGAN效果最好的概率为71.39%。
作者团队
这项研究的作者共有四人,分别是清华大学的Ran Yi 、Yong-Jin Liu(刘永进)和英国卡迪夫大学的Yu-Kun Lai和Paul L. Rosi。
一作Ran Yi目前是清华大学打算机科学的在读博士生。2012年,Ran Yi被清华电子工程系录取,2016年在清华本科毕业。
刘永进(Yong-Jin Liu)是清华打算机系长聘教授,博士生导师,人机交互与媒体集成研究所所长。刘教授还是国家精彩青年基金得到者、国家精良青年基金得到者,入选教诲部新世纪人才操持。
此前,Ran Yi和刘永进还推出过将照片转化成新海诚《你的名字》画风的CartoonGAN,
△ 左列为输入的照片,右列为CartoonGAN天生的新海诚画风的图像
Yu-Kun Lai现为卡迪夫大学打算机科学与信息学院的Reader(准教授),从本科到博士均在清华就读。
Paul L. Rosin是卡迪夫大学打算机科学与信息学的教授,南开大学“外专千人操持”教授。此前,曾担当Computer Graphics Forum国际期刊编委,Computational Aesthetics 2015国际会议主席。
传送门
论文APDrawingGAN: Generating Artistic Portrait Drawings from Face Photos with Hierarchical GANs地址:
https://cg.cs.tsinghua.edu.cn/papers/CVPR-2019-Drawing.pdf
— 完 —
诚挚招聘
量子位正在招募编辑/,事情地点在北京中关村落。期待有才华、有激情亲切的同学加入我们!
干系细节,请在量子位"大众号(QbitAI)对话界面,回答“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技能和产品新动态