奥巴马、周杰伦都可一键转换高冷漫画脸
漫画是很多人的童年回顾，除了经典的《银魂》、《海贼王》、《火影》，久保带人的作品《去世神》也很有人气。最近，六位来自北航的研究者推出了一款漫画脸转换模型「MangaGAN」，实现了真人照片到漫画脸的完美转换。
我们可以合理疑惑，几位论文作者都是久保带人的粉丝。
这篇论文中提出的「MangaGAN」，是一种基于天生对抗网络（GAN）的非成对照片到漫画转换方法。用来演习 MangaGAN 的数据集也来源于一部非常受欢迎的漫画作品——久保带人的《去世神（Bleach）》，包含漫画人脸的面部特色、特色点、身体等元素，以是天生结果也带有强烈的久保带人风格。
论文链接：
https://arxiv.org/pdf/2004.10634v1.pdf
标准漫画脸是如何天生的？
MangaGAN 天生漫画脸的整体流程
总体来说，MangaGAN 包含两个分支：
一个分支通过几何转换网络（Geometric Transformation Network，GTN）学习几何映射；另一个分支通过外不雅观转换网络（Appearance Transformation Network，ATN）学习外不雅观映射。末了通过合成模块将二者领悟，从而天生漫画脸。
假设 P 表示照片，M 表示天生的漫画脸，二者之间不存在成对关系。给定一张照片 p∈P，MangaGAN 学习映射
将 p 迁移至样本
（m∈M），同时为 m 加上漫画风格和面部相似度。
图中（f）步骤通过 GTN 勾勒出夸年夜的几何线条，并确定五官的几何分布位置；图中（e）步骤则通过 ATN 天生所有的面部特色，包括眼睛、鼻子和嘴巴。继而通过合成模块将几何轮廓和面部特色相领悟，输出漫画脸 m∈M。
外不雅观转换：ATN
ATN 是一个 multi-GAN 构造的网络，包含四个局部 GAN，分别用来转换眼、口、鼻和头发这四个面部位置。针对每个部位的 GAN，会有专属的演习策略和编码器以改进其性能。
眼睛和嘴巴是漫画脸的灵魂所在，但也是最难转换的部分，随着表情的变革，这两个部位的特色也会变革。
对付眼睛和嘴巴部位，为了实现更好的非成对数据匹配，研究者将 CycleGAN 与反向映射（reverse mapping）相结合，并进行了三项改进：
第一，设计了一个带有 SP loss L_SP 的 Similarity Preserving (SP) 模块，以增强相似度；第二，演习编码器 E^eye 用于提取 p^eye 的主干，演习编码器 E^mouth 用于提取 p^mouth 的轮廓线条；第三，提出构造平滑丢失 L_SS，帮助网络天生笔触平滑的漫画脸。利用不同的改进方法得到的眼部和嘴部区域比拟情形。
上图第 5 列和第 11 列展示了利用 SP 模块进行改进的效果；第 6 列和第 12 列分别展示了利用编码器 E^eye 和 E^mouth 的改进效果；第 4 列和第 10 列展示了利用构造平滑丢失进行改进的效果。
鼻子和头发的天生则相对大略，大部分动漫人物的鼻型相似，因此该研究利用基于 ProGAN 的架构天生鼻子。头发部分则利用了 APDdrawingGAN，通过头发分割方法划分出大致的头发区域，然后利用肖像分割方法移除多余的背景区域，即可天生类似漫画风格的头发样式。
几何转换：GTN
在转换面部特色点时会碰着一个问题：面部特色的搭配模式限定了却果的多样性。比如，脸型相同的人可能有着不同的眼口鼻大小或位置，但 GAN 在接管全局人脸特色点演习时可能遵照固定或类似的搭配模式。因此研究者也将「几何特色」分解为三种属性：脸型、位置、大小，并利用三个 sub-GAN 分别转换。
GTN pipeline。几何信息被分为三种独立属性：位置、大小和脸型，然后利用 N_loc、N_siz、N_sha 三个 sub-GAN 分别进行转换。
终极，如图 5(b) 所示，基于预定义的脸颊和额头比例，天生了整张漫画脸的几何特色。
末了一步：领悟
这一步的目的是领悟人脸特色和几何特色，从而天生漫画脸。
如上图所示，首先，根据几何特色来调度和定位各面部特色组件；
其次，基于分段三次 Hermite 插值多项式 (PCHIP) 方法，得到平滑的曲线并保留脸部形状，然后通过拟合天生人脸特色点的曲线来绘制脸型；
然后，模型供应了 10 种漫画式耳朵供选择，而非按照片重新天生，由于耳朵的样式对面部表情来说影响不大；
此外，研究者还网络了 8 种漫画人物身体（manga body），用来与天生的漫画脸搭配。
末了就可以输出漫画结果啦。该模型供应了快速微调尺寸和位置的工具，以及鼻子、耳朵和骨架等组件的切换工具，用户可以按照个人喜好进行调度，天生自己喜好的漫画脸。
MangaGAN 效果如何？
该研究所用的实验数据集包括三部分：漫画数据集、照片数据集和人像数据集。漫画数据集来源于一部盛行的漫画作品《去世神》，包括 448 双眼睛、109 个鼻子、179 个嘴巴和 106 张正面漫画脸。
研究者将 MangaGAN 与 9 种漫画脸天生 SOTA 方法进行了比拟，效果天生如下图所示：
可以看到，其他方法天生的漫画脸都会有扭曲和突兀的线条，或是面部存在莫名的阴影，其缘故原由在于天生过程中忽略了几何特色的转换。比较之下，MangaGAN 天生的脸部十分干净利落，没有多余的部分。
接下来是跨域转换层面中 MangaGAN 与其他方法的比拟。为公正起见，CycleGAN 和 UNIT 先转换全脸再转换每个人脸特色。终极效果如下图所示：
很明显，其他方法在匹配照片和漫画时随意马虎涌现问题，它们更关心二者的阴郁区域是否匹配，但没有转换脸型和笔触。MangaGAN 的天生结果则更靠近空想中的漫画脸，脸型棱角分明，眉形平滑，嘴巴也进行了简化，险些完备符合手绘漫画的人物长相特色。
2020未来杯高校AI寻衅赛报名火热进行中
欢迎大家踊跃报名
30万元大奖等你来寻衅！
！