近三年，刘永进教授课题组在该方向上已经揭橥了四篇PAMI和CVPR论文。
而这4篇论文有着相同的一作：易冉。
易冉现在是上海交通大学打算机系助理教授。她于2016年得到清华大学工学学士学位，2021年得到清华大学工学博士学位。她的研究方向包括打算机图形学、打算机视觉和打算几何。近五年共揭橥任命20余篇论文于IEEE PAMI、ACM TOG、TVCG、CVPR、ICCV、AAAI等国际期刊和会议。
2021年12月，易冉得到中国图象图形学学会2021年度石青云女科学家奖。
她的博士学位论文《艺术肖像画的多风格与跨模态深度天生模型研究》，受到答辩委员会主席张钹院士、委员查红彬教授、陈熙霖教授、史元春教授和胡事民教授的同等好评，入选2021年清华大学精良博士学位论文。
除此以外，易冉还得到过中国打算机学司帐算机视觉专委会学术新锐奖、第十六届图像图形技能与运用学术会议（IGTA2021）论文竞赛一等奖、北京市图象图形学学会精良博士论文、微软学者提名奖等学术奖项。
并且她还担当中国图象图形学学会智能图形专委会、动画与数字娱乐专委会委员，AAAI程序委员会委员，IJCV、TIP、TMM、CVPR、ICCV、NeurIPS、ICLR、VR等主要期刊会议审稿人。
课题组部分成员合影
连续4年揭橥顶刊顶会论文
2022
论文链接：https://doi.org/10.1109/TPAMI.2022.3147570代码链接：https://github.com/yiranran/QMUPD
2021
论文链接：https://doi.org/10.1109/TPAMI.2020.2987931代码链接：https://github.com/yiranran/APDrawingGAN2
2020
论文链接：https://doi.org/10.1109/CVPR42600.2020.00824
代码链接：https://github.com/yiranran/Unpaired-Portrait-Drawing
2019
论文链接：https://doi.org/10.1109/CVPR.2019.01100
代码链接：https://github.com/yiranran/APDrawingGAN
实现方法
肖像线条画是一种高度抽象、具有表现力的艺术形式，将人物肖像中的丰富信息进行高度压缩，仅用稀疏的图形元素（如线条）表示。精细的肖像线条画须要艺术家精心绘制，十分耗费韶光。一些现有方法利用成对演习数据天生肖像画，但是网络数据的过程是昂贵且耗时的。
论文提出一种基于非成对数据的从人脸照片天生肖像线条画的方法，该方法可以（1）利用单个网络天生多种风格的高质量肖像线条画，以及（2）天生演习数据中未涌现的「新风格」肖像画。
论文提出一种从人类感知数据中学习肖像线条画质量指标（quality metric）的方法。首先利用现有方法天生许多肖像线条画，并与艺术家的画作稠浊，网络的样本如下图所示。
通过用户实验网络人类对这些肖像线条画的偏好，由此打算得到每个肖像线条画的质量分数（quality score）。然后用这些数据演习一个回归网络，其输入为一幅肖像线条画，输出为该肖像线条画的质量分数。
该回归网络从人类评估数据中学习，因此其预测的分数可以帮助勾引肖像画天生器天生更高质量的结果。
为演习质量度量模型网络的肖像线条画样本，包括天生的与艺术家绘制的肖像画。从上至下肖像画质量逐渐低落。
在网络模型的构造方面：
（1）该模型基于非对称循环映射构造和截断丢失，以办理非成对演习场景下已有方法常涌现的信息隐蔽和主要特色缺失落问题。
（2）提出基于上述质量度量模型的质量丢失（quality loss），以勾引天生网络天生「更好看」的肖像画。
（3）通过在天生器部分引入风格特色及风格分类鉴别器，进一步使得单个模型能实现多种风格的肖像线条画的天生。
网络构造示意图
论文进一步提出生成演习数据中未涌现的「新风格」肖像线条画的方法。在模型的多风格天生场景下，不同的风格特色会导致不同的风格输出，三种目标风格分别对应于向量[1,0,0],[0,1,0]和[0,0,1]。
给定一个「新」风格的肖像线条画参考图，论文提出利用演习好的天生器，在风格特色空间中搜索一个最优的风格特色，使其天生的肖像线条画在风格上与参考图最相似。最佳的风格特色向量通过优化该向量勾引天生的肖像画与目标之间的风格间隔得到。
「新」风格天生示例
给定（a）中的目标「新」风格肖像画（即在演习数据中看不到的风格），我们通过优化风格丢失，找到得当的风格特色向量，天生与目标相似的肖像画。优化过程如（c）所示，最终生成的结果如（d）所示。优化过程中风格丢失的变革如（e）所示。
论文对天生模型进行了特色图可视化，并将其与人脸语义图进行比较，以进一步剖析天生网络。实验结果验证了天生器在天生过程中学习了人脸的语义信息。大量实验表明，论文所提出的模型优于目前最前辈的方法。
下图给出了所提出的方法与多种风格迁移、图像到图像转换方法的比拟结果。论文所提出方法天生了比现有方法更高质量的结果，既保留了人脸构造，又具有良好的图像和线条质量。
与最新方法的比较
(a)输入人脸照片；(b-c)风格迁移方法：Gatys和线性风格转换方法；（f)单模态的图像到图像的转换方法：DualGAN，CycleGAN，UNIT；（d）多模态的图像到图像的转换方法MUNIT；(e)论文的方法去除质量丢失，输出的三种风格；（i）利用成对演习数据的肖像天生方法APDrawingGAN++方法；(j)论文方法天生的三种风格。
更多实验比拟
(a)输入人脸照片；(b)DualGAN方法结果；(c)CycleGAN结果；(d)UNIT结果；(e-g)论文方法的结果。
参考资料：
https://news.sjtu.edu.cn/zhxw/20211222/165563.html
[1]Quality Metric Guided Portrait Line Drawing Generation from Unpaired Training Data
https://doi.org/10.1109/TPAMI.2022.3147570https://github.com/yiranran/QMUPD
[2]Line Drawings for Face Portraits from Photos using Global and Local Structure based GANs
https://doi.org/10.1109/TPAMI.2020.2987931https://github.com/yiranran/APDrawingGAN2
[3]Unpaired Portrait Drawing Generation via Asymmetric Cycle Mapping」
https://doi.org/10.1109/CVPR42600.2020.00824
https://github.com/yiranran/Unpaired-Portrait-Drawing
[4]APDrawingGAN: Generating Artistic Portrait Drawings from Face Photos with Hierarchical GANs
https://doi.org/10.1109/CVPR.2019.01100
https://github.com/yiranran/APDrawingGAN