量子位 | "大众年夜众号 QbitAI
只需上传一张照片，就能瞬间变换身份，得到高精度个人写真！
或是科幻电影中的超级英雄，或是穿越时空的复古角色……
李飞飞在家做饭的样子有了，还有让斯嘉丽一键带圣诞帽。
除此之外，杨幂+小兰两位人脸领悟在一起会是什么样子？
中山大学、遐想的研究团队推出了ConsistentID，可在细粒度多模态面部提示下，仅利用单张参考图像天生多样的肖像，且保持五官的同等性。
终极在人脸个性化任务处理上，比较腾讯的photomaker和小红书的instantID，在五官同等性保持上更具上风
只需单张照片就可快速保留五官细节
ConsistentID框架包括两个关键模块：多模态面部 ID 天生器和ID保存网络。
多模态面部提示天生器由两个基本组件组成：细粒度多模态特色提取器，专注于捕获详细的面部信息，以及用来学习面部ID特色的提取器。
另一方面，ID保存网络同时利用面部文本和视觉提示，通过面部把稳力定位策略防止来自不同面部区域的 ID 信息稠浊。
这种方法确保了面部区域ID同等性的保存。
多模态面部提示天生器
首先在细粒度多模态特色提取器这一模块中，利用了包括文本嵌入、面部嵌入和面部编码器这三个关键组件。须要独立学习细粒度的面部视觉和文本嵌入，并将它们输入到设计的轻量级面部编码器中，以天生细粒度的多模态面部特色。
面部ID特色提取器。
除了细粒度面部特色的输入条件外，我们还将字符的整体 ID 信息注入到我们的 ConsistentID 中作为视觉提示。详细来说，将完全的人脸图像同时输入到两个编码器中进行视觉特色提取。在这两个编码器之后，利用由 IPA-FaceID-Plus 初始化的参数的轻量级投影模块来天生全体图像的人脸嵌入。
ID保存网络。通过勾引面部特色的把稳力与相应的面部区域对齐来保持局部 ID 特色的同等性。这种优化策略源于不雅观察到传统的交叉把稳力争方向于同时关注全体图像，这对在面部区域天生期间保持 ID 特色提出了寻衅。为理解决这个问题，我们在演习期间引入了面部分割掩码，以从面部区域的增强文本交叉把稳模块中学习到的把稳力分数。
除此之外，研究团队还引入了丈量细粒度面部天生数据集 FGID，办理了现有数据集中用于捕获不同身份保留面部细节的局限性。
该数据集包括面部区域和全体面部的面部特色和描述，辅以一种新颖的细粒度身份同等性度量，建立了细粒度面部天生性能的综合评估框架。
详细效果在面部特色比较上，该方法天生的图像在眼睛、鼻子和嘴巴等面部特色中表现出很强的同等性。
在定性评估中，研究团队对目前最前辈方法，包括Fastcomposer，IP-Adapter、Photomaker和InstantID进行来比较剖析，对每种方法利用默认参数，并将推理限定为单个参考图像。
除此之外，还与Photomaker方法对齐，利用 Mystyle数据集进行定量评估，并结合超过10个身份数据集进行可视化。
终极可以看到，ConsistentID在高质量天生、灵巧的可编辑性和强大的身份保真度方面表现出更强大的能力。
而在定量评估中，在大多数评估指标中，ConsistentID始终优于其他方法，并且在天生效率方面超过了其他基于IP-Adapter的方法。
试玩链接：http://consistentid.natapp1.cc/
项目链接：[1]https://github.com/JackAILab/ConsistentID[2]https://ssugarwh.github.io/consistentid.github.io/