不止支持一种面部风格:

听凭小姐姐怎么“全身大比划”,效果都能保持稳定,全程“不掉线”:

不止人脸,连全身和背景也都全部照顾到了。

一张自拍变6种风格漫画视频也支持这个AI不到一天狂揽1800赞

这,便是最近在Reddit上大火的一个自拍变漫画AI,不到一天就收成了1800+赞。

什么来头?

自拍变漫画,人脸、全身、背景都照顾到

这个AI叫WebtoonMe,基于深度学习技能将图像翻译成漫画风格。

熟习的朋友可能知道,Webtoon,web+cartoon,也便是“网页版漫画”,是漫画的一种呈现形式,出自韩国。

这个自拍变身漫画AI的技能团队也来自韩国。

一开始,他们只做了人脸转换,后来打算把背景也包括进去。

不过问题就来了:照片中的各种物体(如面部、身体部位、衣服、背景等)的风格属性都不太一样,如何输出统一的结果呢?

作者采访了几位webtoon的创作者后理解到,webtoon的“前景”和“背景”是用不同工具制作的,为了让两者更自然地领悟,后期也添加了不少润色。

因此,他们将这个AI分为面部转换和背景转换两部分,即一个背景天生器+一个面部天生器,把人脸裁切出来和背景分别处理。

详细来说,他们先构建了一个webtoon数据集,这个数据集由人脸、身体部位、物体和自然背景平分歧部分组成。

然后创建了各种深度学习模型,用来减少前景和背景元素之间的风格差异。

末了又模拟了不同webtoon创作者的润色技能,通过几种后处理算法,让天生的结果更自然、质量更高。

详细的技能细节我们还未可知,目前也还没有开放试用链接。

不过看起来让很多心动的背后,一些细心的网友仅通过几张示例就创造了一些问题。

眼睛的效果还需改进

就比如这个眼睛,很多网友表示有点胆怯啊,一贯直视前方,眼球动也不动。

如果能模拟眼球迁徙改变、眨眼睛、眯眼等眼部动作,效果肯定会更好。

此外,抛去这一点,脸部和背景处理得都还不错,便是这个身体部位风格化得不足彻底,还是有点像真人。

倒是这个AI的稳定性值得让人夸赞。

哦,还有一点美中不敷,有网友“惋惜”:

假如这个AI还没取名字就好了,不然就可以叫WaifuNet了……[旺柴]

One More Thing

要说这人物变动漫的AI,一贯都层出不穷。

就比如前不久的AnimeGAN2,采取神经风格迁移+GAN,由湖北工业大学的三位学生和老师开拓,也是大火,一度须要网友排几小时大队才能看一眼自己在动漫里的样子。

AnimeGAN2的风格和本日的这个WebtoonMe不太一样,变换重点也只包括人脸,以是眼部跟踪做的挺好。

不过面对不足高清的人脸时,效果一样平常。

两者各有千秋吧,你喜好哪一种呢?

参考链接:[1]https://webtoon.github.io/WebtoonMe/en

[2]https://www.reddit.com/r/MachineLearning/comments/sfbtds/p_webtoonme_project_selfie_to_webtoon_style/

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一韶光获知前沿科技动态