给AI一张毛不易的照片，它自动就能天生一个古风毛大侠。
小姐姐冷艳的气质，可以被还原出一代侠女风范。
也可以探索一下，奥巴马穿越回宋朝是一种若何的体验……
现在，想在游戏里定制化自己的脸，你可以不用自己花韶光琢磨参数了。
熟习游戏的小伙伴可能认出来了，这一套AI捏脸术，来自网易伏羲人工智能实验室和密歇根大学。
现在，最新干系研究登上了AAAI 2021。
据作者先容，这个名为MeInGame的方法，可以集成到大多数现有的3D游戏中，并且比较于纯挚基于3DMM（3D Morphable Face Model ）的方法，本钱更低，泛化性能更好。
详细实现细节，一起来看。
方法事理研究职员将人脸形状和纹理的重修，视作一个自监督的面部相似度丈量问题。
首先，对付输入照片，预先演习好的形状重修器会预测其3DMM和姿势系数，并在保持拓扑结果的同时，将3DMM网格转换成游戏网格。
这么做的缘故原由，是3DMM网格的拓扑构造与大多数游戏中利用的网格不同。直接基于3DMM来从单张图像中还原出游戏中的3D人脸，须要大量的人脸纹理数据进行演习，费时费力不说，实验室条件下网络的数据也可能涌现泛化不佳的问题。
接着，基于游戏网格，将输入图像解包到UV空间，创建一个粗纹理图。纹理会由一组编码器-解码器模块进行进一步细化。
其余，研究职员还设计了光照归回器。这是一个轻量级网络，由几个完备连接层组成，能根据图像特色预测光照方向、环境光、漫反射、高光等光照系数。
末了，将预测出的形状、纹理和光照系数一起反馈给可微分渲染器，在结果与输入的人脸照片相似的情形下，驱动2D人脸渲染。
研究职员还引入了两个判别器，来进一步改进结果。
详细到数据集的准备方面，这项研究提出了一种低本钱面部纹理采集方法：与其他须要多视角图像的方法不同，只利用单视角图像，因此更加随意马虎获取。
步骤如下：
对付输入的人脸图像，利用预演习人脸分割网络检测皮肤区域；打算输入人脸皮肤的颜色均值，并将均值迁移到模板纹理图（由游戏开拓者供应）；根据游戏网格，将输入的人脸图像进行解包到UV空间。利用泊松稠浊，将解包后的图像与模板纹理图进行领悟。移除头发、眼镜等非皮肤区域，并尽可能利用对称性补齐遮挡区域。实验结果以是，网易伏羲实验室&密歇根大学的MeInGame，跟前辈方法们比较有何上风？
从与A Dream of Jianghu、Loomie、ZEPETO等方法的定性比较结果来看，该方法无论是在脸庞（包括肤色）的还原度上，还是妆面这样的个性化细节上，都要略胜一筹，并且能肃清光照和遮挡的影响。
而基于3DMM的方法虽然能够高度还原真实人脸，但其建模不包括完全的头部模型及纹理，很难直接用于游戏环境。
根据论文信息，干系代码和数据集，将会在GitHub上释出。
传送门论文地址：https://arxiv.org/abs/2102.02371
GitHub地址：https://github.com/FuxiCV/MeInGame
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一韶光获知前沿科技动态