作者 | 温淑
编辑 | 心缘
智东西1月26日，伦敦帝国理工学院和初创公司FaceSoft.io的研究职员设计出一个人脸建模系统AvatarMe。AvatarMe可以依据任意一张人脸照片和一些面部细节，天生4K x 6K分辨率的3D人脸模型。
AvatarMe是首个能根据单一图像天生较高分辨率3D人脸模型的系统。在未来，AvatarMe或可用于视频会议等各个VR运用处景。
这项研究揭橥于CVPR 2020，论文标题为《AvatarMe：“在野外”的真实的可渲染的3D脸部重修（AvatarMe：Realistically Renderable 3D Facial Reconstruction “in-the-wild”）》。
论文链接：https://arxiv.org/pdf/2003.13845.pdf
CVPR（Conference on Computer Vision and Pattern Recognition）是由IEEE举办的打算机视觉和模式识别领域的顶级会议，本届会议在6月13日到6月19日之间举办。
一、AvatarMe：依据一张照片天生逼真的3D人脸
3D人脸建模是打算机视觉、图形学、机器学习领域的研究焦点之一。在过去几年，许多研究团队研发了基于天生对抗性网络（GAN）的3D人脸建模系统。
GAN由一个天生网络和一个判别网络组成。GAN模型的学习过程便是天生网络和判别网络的相互博弈的过程：天生网络随机合成一张图片，让判别网络判断这张图片的真假，继而根据判别网络给出的反馈不断提高“造假”能力，终极做到以假乱真。
但是，在依据任意人脸照片天生3D人脸模型方面，现有的办理方案普遍性能较差，天生的3D人脸模型分辨率较低。
伦敦帝国理工学院和初创公司FaceSoft.io的研究职员认为，这是由于两个缘故原由：
一方面，研究职员缺少可用于培训的数据；另一方面，可成功运用于高分辨率数据的稳健方法也比较少。
为理解决这些问题，伦敦帝国理工学院和初创公司FaceSoft.io的研发职员捕获了一个关于面部形状和反射率的大型数据集。
同时，研究职员采取基于艺术状态的3D纹理和形状重修方法，以渲染所需的每像素分辨率和镜面反射分量。终极，研究职员成功地优化了3D人脸建模结果。
AvatarMe系统的管道结果
二、采取两种捕获方法，网络超200张人脸图像
为了建立可用于演习的人脸数据集，研究职员采取两种方法网络数据。
第一种方法中，研究职员利用一个有168个光源的极化LED球泡灯和9台单反相机，捕获高分辨率的孔隙级人脸反射率图。极化LED球泡灯中，一半的光源是垂直极化的，另一半光源是水平极化的。两种极化办法的光源交错排布。
第二种方法中，研究职员利用非极化的LED球泡灯进行色彩空间剖析，以捕获解缠的纹理。比较于第一种方法，利用非极化的LED球泡灯只需捕获不到一半的数据，因此捕获韶光较短短。其余，由于不须要偏振片（polarizer），非极化的LED球泡灯设置也比较大略。
通过这两种方法，研究职员采集到超过200个不同年事和特点的人的孔隙级人脸反射率图。为便于进一步研究，研究职员将网络到的图像引入一个标准拓扑构造中，建立人脸数据库。
研究职员将这一数据库命名为RealFaceDB，根据论文，与同类人脸数据库比较，RealFaceDB规模为最大。
将人脸图像引入标准拓扑构造
三、不仅能用低分辨率照片建模，戴墨镜照片也行
基于RealFaceDB数据库，研究职员开始演习基于GAN的AvatarMe系统。
演习过程中，研究职员首先输入一张低分辨率的人脸图片，用3DMM算法重修一个带纹理的基本几何体。然后，利用一个超级分辨率网络，研究职员重修纹理映射。接下来，研究职员利用一个去照明网络得到高分辨率的漫反射函数（AD）。末了，研究职员利用漫反射函数AD和基本几何体，推断出其他部分的函数（AS、ND、NS），进而建立仿真的3D人脸模型。
经由演习，AvatarMe系统可以输出4K x 6K分辨率的3D人脸模型。
为了评估AvatarMe的性能，研究职员输入随机图片，不雅观察AvatarMe重修的3D模型是否逼真。结果显示，AvatarMe系统重修的3D人脸模型没有产生伪影。其余，在照片主人公戴有墨镜的情形下，系统也能较精准地建模。
结语：未来操持把RealFaceDB数据库开源
本项研究中，伦敦帝国理工学院和初创公司FaceSoft.io的研究职员设计出人脸建模系统AvatarMe。AvatarMe可以利用任意一张人脸照片，建立出较高分辨率的3D人脸模型。
研究职员还建立了同类数据库中规模最大的RealFaceDB数据库。研究职员称，未来操持将这一数据库向科学界开源。
同时，论文指出，RealFaceDB数据库还存在一些局限性。比如，RealFaceDB数据库中缺少来自深肤色种族的样本。因此，在依据深肤色种族样本建模时，AvatarMe系统建立的3D人脸模型分辨率有所降落。
参考信源：VentureBeat、arXiv