量子位 出品 | 公众年夜众号 QbitAI
寥寥勾画几笔，就能让女神的衣服变个样。
随手画个亵服的轮廓，穿粉色运动背心的妹子，一下子就换上了亵服。就像下面这样：
天生效果绝不违和，没有任何P过的痕迹，更想象不出它竟然是根据草图合成的。
前一眼还是金色长发的歪果仁姑娘，在这张图上随意勾勒个帽子形状，下一秒就变成了真实效果，还看不出人为弥补痕迹。
这是什么变装神器啊？！
最近，中山大学等的研究职员搞出了这样一个变装模型，代号FE-GAN，它能通过任意草稿涂鸦，改变人物造型。
可以实现的效果可谓多种多样，一起接着看：
万能改图王
此前，也有InstaGAN等AI模型，可以实现照片中裙装换裤装等操作，而本日的主角FE-GAN有多种附加功能。
轻轻一画，就可以改变人物衣服类型，开头背心变亵服的妹子便是这个效果。
类似的，用线条随意标记下妹子的白色破洞长裤，长裤消逝不见，白色短裤现身。
除了能改变衣服造型，FE-GAN还能改变服装布料的花色。
而你只须要向刚刚一样，用不同颜色画笔勾勒草图和轮廓即可。来看效果图：
这个花色竟然是……自己刚刚画出来的？看起来比纯黑裙显年轻了不少。
除了在原有根本上进行改造，无中生有天生佩饰也不在话下。
穿牛仔衣短裙的姑娘，想给她配上顶遮阳黑帽？不用重新拍摄，画上就行了。
无马脚，不生硬，从0到有，FE-GAN也是可以的。
你以为这便是FE-GAN的全部了？
NoNoNo，它还能用于润色脸型……
纵然是更哀求细节的面部五官天生，它的效果也可以说得过去。
一个笑脸圆下巴胡茬小哥，“术后”也变成了锥子脸，乃至还能帮他修胡子。
丸子头小姐姐，画上几根头发，就真的变成了长发：
这个名为FE-GAN的模型，切实其实便是个万能改图神器啊。
这是怎么实现的？
两步换装
为了得到更好的规复效果，FE-GAN把天生图片分为两步进行，先从被遮挡图片规复轮廓，再根据手绘草图给人物加上衣服、发型等细节。
这两步分别由两个不同的网络卖力，包括一个自由形式解析网络和一个具有多尺度把稳规范化层的解析感知修复网络。
1、自由形式解析网络
这一部分卖力吸收带有草灰笔画、噪声、颜色和遮挡的不完全图片，并天生一张合成解析图片。解析图片便是带有轮廓的剪影。
与直接规复不完全图像比较，解析图片从不完全到完全的过程更加随意马虎与可行，由于解析图中的细节较少。不完全的解析图片可以用边缘检测算法得到。
此外，规复后的解析图片中的语义信息，还能精确地辅导下一步渲染图每个部分的细节纹理。
为此，研究职员提出了一个自由形式的解析网络，在给出被色块遮挡的图片时能合成出完全的解析图片。
自由形式解析网络基于编码器-解码器架构。编码器吸收五个输入：不完全的解析图片，被擦除区域的草图，从高斯分布采样的噪声，稀疏颜色和掩模。
值得把稳的是，给定相同的不完全解析图和各种草图和颜色笔划，自由形式解析网络可以合身分歧的解析图，这表明解析天生模型是可控的。
2、解析感知修复网络
将上一步天生的合成解析图片与原来不完全的图像输入这一部分，通过草图和颜色来操纵图像。
研究职员引入了一个部分卷积编码器，从不完全图像中的有效区域中提取特色。在部分卷积编码器中不是直策应用掩码，而是利用组合掩码使网络仅关注前景区域。
除了部分卷积编码器，研究职员还引入了一个标准卷积编码器，从合成的解析图中提取语义特色。解析图卖力辅导修复的语义和位置信息，由于具有相同语义的区域中的内容该当是相似的。
给定语义特色，网络可以更精确地在特定区域上渲染纹理。
由于不完全图像的繁芜纹理以及草图和颜色笔划的多样性，自由形式解析网络和解析感知修复网络的演习是一项具有寻衅性的任务。
为理解决这些问题，研究职员提出了6项丢失——对抗性丢失、感知丢失、风格丢失、解析丢失、多尺度特色丢失、总差异丢失——来规范演习，使得在不同方面的演习更随意马虎、更稳定。
完胜其他换装模型
研究职员用FE-GAN在DeepFashion、MPV和自建的FashionE数据集上进行了测试，与Deepfill v1、Partial Conv、Edge-connect三种方法进行比拟。
在客不雅观指标上有PSNR（峰值旗子暗记噪声比），SSIM（构造相似性指数）和FID（Fréchet初始间隔）三个参数评估定量结果。此外还利用了亚马逊AMT人工审核平台来评估定性结果。
结果表明FE-GAN在各项指标上都取得了最优的结果。
在亚马逊的AMT平台上，FE-GAN也具有压倒性的上风，在与Deepfill v1、Partial Conv比拟时超过8成的人以为FE-GAN效果更逼真。
华人团队
变装神器出自何许人也？
全体作者团队共有9人，包括中山大学的Haoye Dong、Xiaodan Liang、Xujie Zhang、Zhenyu Xie、Bowen Wu、Ziqi Zhang、Jian Yin，来自CMU邢波教授创立的AI公司Petuum的Yixuan Zhang和字节跳动的Xiaohui Shen。
一作Haoye Dong（董浩业）是中山大学数据科学与打算机学院的博士生，师从中山大学副教授Xiaodan Liang和博士生导师印鉴。
二作Xiaodan Liang，此前是CMU机器学习系的项目科学家，与邢波一起互助过。
在2014年至2016年期间，Xiaodan Liang在新加坡国立大学担当访问学者，与颜水成也互助过。
Xiaodan Liang的顶会战绩也很刺目耀眼。其主页显示，其两篇论文被NIPS 2018吸收，2篇被AAAI 2019吸收，8篇论文被ECCV 2018吸收，个中还有两篇为口头报告。
传送门
末了，附上论文Fashion Editing with Multi-scale Attention Normalization地址：
https://arxiv.org/abs/1906.00884
— 完 —
诚挚招聘
量子位正在招募编辑/，事情地点在北京中关村落。期待有才华、有激情亲切的同学加入我们！
干系细节，请在量子位"大众号(QbitAI)对话界面，回答“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技能和产品新动态