量子位 | "大众年夜众号 QbitAI
自拍的视频也能转换成高清动漫脸，这个AI能够在线玩了！
多达数十种肖像风格，并且支持高分辨率，天生的视频是酱婶的～
比如想天生“迪士尼”卡通风格：
又或者想天生游戏里的角色风格：
这是天生的皮克斯动画风格的效果：
这是南洋理工大学开源的一个叫VToonify的框架，目前在Huggingface和Colab上都可以运行，一作还是北大博士。
看完上面的示例，是不是心痒痒了，下面有详细教程手把手教你怎么玩，还烦懑学起来！
VToonify的操作可以说非常大略易上手了。
首先，选取你喜好的卡通风格，公主风、肌肉风、大眼殊效……还有5种插图风供你选择。
其次，上传包含正脸的视频（或图像），点击一键缩放，这一步是为了避免CPU/GPU过载，不过不用担心，不会对末了天生视频的质量有影响。
除此之外，还可以对上传视频的尺寸进行裁剪或添补。
接下来，只需等待十几秒，即可得到终极的高清版卡通肖像。
而且，如果对“美颜程度”不满意，还可往后期调度。
那么，如此神奇的效果，背后的事理是什么呢？
集成两种框架要讲明白VToonify风格转移的事理，就不得不提到StyleGAN，很多图像风格迁移框架都因此这个模型为根本的。
基于StyleGAN的方法也被称作图片卡通化，它将人脸编码到潜在空间中，然后再将天生的代码运用到被艺术肖像数据集调度后的StyleGAN，最终生身分歧风格的肖像图。
主要的是，它可以天生10241024高分辨率的图像。
但StyleGAN在调度肖像的风格时，须要在固定的尺寸下进行，而且不完全的面孔以及一些奇怪的手势都会对它的效果产生影响，因此StyleGAN对动态肖像是不太友好的。
这时，就须要再先容其余一种图像转换框架了——采取卷积网络的图像转换框架，它能够很好地忽略在测试阶段图像大小和人脸位置的限定 （与StyleGAN完备互补了）。
说回VToonify，它集两个框架的大成于一身，成为一个全新的稠浊框架。
研究职员删除了StyleGAN固定大小的输入特性和低分辨率层，然后创建了创建了一个完备卷积的编码器天生器架构。
详细来说，便是将StyleGAN模型集成到天生器中，将模型和数据结合起来，从而它的样式修正特性由VToonify继续。
并且，作为天生器的StyleGAN对编码器进行演习，可以大大减少演习韶光和难度。
值得一提的是，该研究团队在今年3月就曾开拓过一款图像风格转移AI：模拟大师（Pastiche Master），基于DualStyleGAN的框架，能够灵巧掌握风格并修正风格度。
而这次研究团队推出VToonify，不仅继续了DualStyleGAN的优点，并且通过修正DualStyleGAN的风格掌握模块将这些特性进一步扩展到视频。
研究团队VToonify的研究团队全部来自南洋理工大学。
论文一作杨帅，是南洋理工大学的研究员，紧张研究方向是图像天生和图像编辑，本科和博士均就读于北京大学。
通讯作者吕健勤，是南洋理工大学打算机科学与工程学院的副教授，也是喷鼻香港中文大学客座副教授，其研究方向紧张为打算机视觉和深度学习。
以下是VToonify在线试玩链接，感兴趣的小伙伴们自己动手试试吧～
在线可玩：[1]https://huggingface.co/spaces/PKUWilliamYang/VToonify?continueFlag=4b9ae61e5c13076ecd7ba4f70434f863[2]https://colab.research.google.com/github/williamyang1991/VToonify/blob/master/notebooks/inference_playground.ipynb
论文原文：https://arxiv.org/abs/2209.11224
参考链接：[1]https://www.reddit.com/r/MachineLearning/comments/xyxe8w/r_vtoonify_controllable_highresolution_portrait/[2]https://huggingface.co/PKUWilliamYang/VToonify?continueFlag=4b9ae61e5c13076ecd7ba4f70434f863[3]https://twitter.com/ShuaiYang1991/status/1576937439528042499
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一韶光获知前沿科技动态