从主机、PC 得手机游戏，随着硬件配置不断迭代，游戏在画面风雅度和玩法操控度方面也加倍强大，很多游戏开拓商为了知足玩家们的个性化需求，都供应了一整套为游戏角色 “捏脸” 的系统，能让玩家根据自己的审美细化设定角色外不雅观。
与此同时，游戏背后的打算机科学家们也一贯在努力设计新的技能，使游戏体验更加沉浸化，以期达到引人入胜的效果，个中就包括自动创建靠近真人的游戏角色的方法。
图｜一款游戏的捏脸过程
不过，目前大多数现有的创建和定制游戏角色的方法都哀求玩家手动调度角色的面部特色，以便重新创建自己的面部或捏成其他人的面部，一个玩家常日须要几个小时耐心去手动调度数百个参数（例如脸型、眼睛）来创建一个类似于指定肖像的角色。
最近，一些开拓职员也考试测验开拓一些新方法，通过剖析真实人物的面部图像，自动定制角色的面部，但这些方法实际效果常日不佳，要么过程繁芜，要么对人脸形状和纹理的自由度有限。
来自网易伏羲 AI 实验室和密歇根大学的研究职员最近发明了一种深度学习的方法，名为 MeInGame，它可以通过剖析一个人脸的单个肖像而自动天生游戏人物脸，这项技能在 arXiv 上预先揭橥的一篇论文中提出。
图｜部分游戏玩家捏出的明星脸（来源：网络）
开拓这项技能研究职员在论文中写道：“我们提出了一种自动创建人物面部的方法，可以从一张肖像中预测天生面部的形状和纹理，并可以集成到大多数现有的 3D 游戏中。”
不少捏脸高手为了在游戏中捏出一个指定人物的脸可谓挖空心思，乃至总结了一套繁芜的教程和参数包，而今后，可能只须要输入一张人脸照片就能轻松搞定了。
现有游戏中的人脸定制系统，很多是基于三维变形模型（3DMM）打算实现的，作为一种经典的三维人脸形状和反照率的统计模型，3DMM 在人脸剖析、模型拟合、图像合成等方面有着广泛的运用。
虽然基于 3DMM 的方法可以从单个图像中规复出精确的三维人脸，但其网格的拓扑构造与大多数游戏中利用的网格不同，为了得到逼真的纹理，现有的方法须要大量的人脸纹理数据进行演习，而建立这样的数据集每每既费时又费力。
此外，这些数据集并不总是包含随机网络的真实图像，因此，在这些数据集上演习的模型在呈现新数据时，很难表现出同等的良好性能，进一步而言，这种在实验室条件下进行的方法在真实情形下可能无法很好地落地推广，只管人们已提出了许多基于深度学习的三维人脸重修方法，目前在游戏中的运用仍旧较少。
MeInGame 的贡献在于：
1、提出了一种低本钱的三维人脸数据集天生方法。所创建的数据集在种族和性别上是平衡的，面部形状和纹理都是从原始图像中创建；
2、提出了一种将重修的三维人脸形状转化为游戏网格的方法，可以直接在游戏环境中利用，该方法不依赖于网格连通性，打算效率高；
3、为了肃清光照和遮挡的影响，他们演习了一个神经网络，在一个通用的演习范式下，从 “野生” 人脸图像中预测一个完全的漫反射贴图。
在未来，这个研究小组设计的角色脸天生方法可以集成到许多 3D 视频游戏中，实现与真人非常相似的角色自动天生。MeInGame 模型的代码和用于演习该模型的数据集已在线发布，游戏开拓者可通过以下网址访问：https://github.com/FuxiCV/
该方法不仅能运用于游戏，由于 COVID-19 的疫情影响，人们不得不保持社交间隔，很多数会议活动都改为在线 / 虚拟会议，乃至在 3D 游戏中举办学术研讨会，随着越来越多的社走运动从面对面走向网络化，用户在虚拟环境中自动天生 3D 角色也会让社交的形式变得非常有趣。
对付 MeInGame 模型的特点，研究职员在论文中阐释说：“给定一张输入的人脸照片，我们首先基于 3D 变形人脸模型（3DMM）和卷积神经网络（CNNs）重修 3D 人脸，然后将 3D 人脸的形状转移到模板网格上。该网络以人脸照片和展开的粗 UV 纹理图为输入，预测光照系数和细化纹理图。”
图｜MeInGame 方法概述。（来源：arxiv）
利用神经网络的强大功能，可以有效地去除输入中不须要的光照分量和遮挡。由于范例游戏引擎的渲染过程是不可微的，他们还利用可微渲染方法将渲染输出中的梯度反向传播到演习过程中须要参数更新的各个模块。
这样，所有的网络组件都能以端到真个办法顺利演习。为了减少演习数据的依赖性，除了可微绘制外，他们还设计了一种新的基于半监督学习的演习流水线，利用配对数据进行监督学习，利用未标记数据进行自我监督学习。因此，MeInGam 网络能够以半监督的办法进行演习，减少对预定义纹理贴图的依赖。
末了，通过将天生的人脸网格和纹理加载到游戏环境中，就可以为玩家创建逼真的游戏角色。
值得把稳的是，研究职员将人脸形状和纹理的重修作为一个自我监督的人脸相似性度量问题。在可微绘制的根本上，设计了一个绘制循环，从与输入人脸照片相似的预测形状和纹理中逼迫进行二维人脸绘制。
MeInGame 方法由几个可演习的子网络组成。首先，图像编码器以人脸图像为输入，产生潜在特色；其次，将图像特色展平并输入光照回归器，一个由几个完备连接的层组成的轻型网络，并预测光照系数（光照方向、环境光、漫反射和镜面反射颜色）；然后，研究职员引入了一种纹理编码器，将输入图像和粗纹理映射的特色串接在一起，然后输入到纹理解码器中，产生风雅的纹理映射。
末了，利用游戏网格、风雅纹理贴图、姿势和照明系数，研究职员利用可微渲染器将面部网格渲染为 2D 图像，并逼迫该图像与输入的面部照片相似。
为了进一步改进结果，他们还引入了两个鉴别器，一个用于人脸图像，另一个用于天生人脸纹理图。此外，还创建了一个种族和性别平衡（RGB）数据集，并将其命名为 “RGB 3D 人脸数据集”，与其他须要多视点图像的方法不同，他们的方法只利用单视点图像即可，并且随意马虎获取。
研究职员基于英特尔 i7 CPU 和英伟达 1080Ti GPU 上运行实验，利用 PyTorch3D（v0.2.0）及其依赖项。给定一幅人像和粗纹理图，MeInGame 网络只须要 0.4s 就可以天生一幅 1024×1024 风雅纹理图。
图｜MeInGame 创建游戏角色（来源：arxiv）
研究职员在实验中还进行了定性和定量比较，呈现效果不错。他们将 MeInGame 方法与其他一些最前辈的游戏角色自动创建方法 / 系统进行了比较，包括《一梦江湖》、Loomie、《逆水寒》和 ZEPETO 中的角色定制系统。
终极，MeInGame 的结果在面部形状和外不雅观方面都比其他结果更类似于输入图像，他们还将其与最前辈的基于 3DMM 的方法进行了比较，只管能从单个图像重修 3D 人脸，但突出的问题是，3DMM 只仿照面部特色，不包括一个完全的头部模型以及纹理，使其难以直接用于游戏环境。
此外，研究职员也约请了 30 人进行评估。每个人分配了 480 构成果。每构成果包括一幅肖像、MeInGame 的结果和一个来自其他的结果，参与者被哀求从两个结果中选择一个更好的，并将其与参考肖像进行比较，用户报告的分数也反响了 MeInGame 结果的质量。
图｜一些实验数据比拟参考（来源：arxiv）
在总结中，研究职员提到了 MeInGame 方法仍旧有的一些局限性。例如，当存在严重遮挡（例如帽子）时，该方法无法产生可靠的结果，由于渲染器无法敌人部网格外的工具创建的阴影进行建模。其次，同一个人在严重光照变革下的两幅肖像的结果也有差别，结果会受到不同颜色灯光的影响。
图｜MeInGame 方法的分外情形（来源：arxiv）
话说回来，技能的落地运用，每每并不是技能本身的问题，有时候会牵扯到一些社会问题，比如个人隐私或者肖像权。
本文提出了一种新的游戏角色人脸自动天生方法，该方法可以轻松产生与输入照片在脸形和纹理方面相似的角色脸，考虑到建立同时具有形状和纹理的三维人脸数据集的本钱很高，研究职员还提出了一种低本钱的方法来天生所需的数据演习，于技能而言，该方法的性能要大大优于现有的方法，能为游戏互动增长不少乐趣。
但是在游戏中随意创建一个其他真人的脸，越来越逼真，会不会牵扯到很多社会伦理问题？这是 AI 技能自出身以来就面临的惨淡面问题，此前，市情上有些 AI 换脸的技能就曾把一些明星、名人的脸无缝移植到一些不雅观观视频乃至无厘头作品中，造成的影响非常糟糕。
以是技能虽好，如何去合法合规地利用，可能也是 MeInGame 在落地时须要考虑到的问题。
参考资料：
https://arxiv.org/abs/2102.02371
https://techxplore.com/news/2021-03-meingame-deep-method-videogame-characters.html