【新智元导读】英伟达推出的StyleGAN在前不久大火了一把。
今日,Reddit一位网友便利用StyleGAN耗时5天创作出了999幅抽象派画作!
不仅如此,他还将创作过程无私的分享给了大家,引来众网友的同等好评。

大家都能当抽象派画作大师了!

去年,佳士得拍卖会上拍卖了一副由AI创作的肖像画——《爱德蒙·贝拉米的肖像》,该画终极售价43.25万美元(301万元公民币),远远超过了7000到1万美元的估量售价,同时也引发了人们对人工智能作画的热烈磋商。

爱德蒙·贝拉米的肖像

StyleGAN玩出新高度生成999幅抽象画人人都是毕加索附代码

本日,Reddit上一位网友利用StyleGAN演习天生了999幅抽象派画作!

天生的个中一幅画作

这项事情使得其他网友们倾慕不已:

那么,这999幅AI天生的画作中,是否又会涌现天价作品呢?值得拭目以待。

利用StyleGAN演习天生抽象派画作

这位名为“_COD32_”的网友在Reddit上毫无保留的分享了这项事情的创作过程。

Reddit地址:

https://www.reddit.com/r/MachineLearning/comments/bagnq6/p_stylegan_trained_on_paintings_512x512/

在模型方面,采取的依旧是去年英伟达爆款StyleGAN,这是一种新的天生器架构,基于风格迁移,将面部细节分离出来,由模型进行单独调度,从而大幅度超越传统GAN等模型。

英伟达StyleGAN GitHub官方地址:

https://github.com/NVlabs/stylegan

在数据方面,采取的是Kaggle上名为”Painter by Numbers“项目中的数据集,个中大部分的图像数据来源于WikiArt.org网站。

Kaggle地址:

https://www.kaggle.com/c/painter-by-numbers/data

个中,只采取了≥1024X2014的图像。
在GTX 1080 TI上的演习韶光大约是5天。

不过作者表示,该模型试图天生人脸的部分并不是很完美,但其它部分还算可以。

例如下面两个随机向量之间的快速隐空间差值(latent space interpolation):

同时,作者也给出了演习好的模型和Jupyter Notebook地址:

https://mega.nz/#!PsIQAYyD!g1No7FDZngIsYjavOvwxRG2Myyw1n5_U9CCpsWzQpIo

https://colab.research.google.com/drive/1cFKK0CBnev2BF8z9BOHxePk7E-f7TtUi

英伟达“造假”黑科技:StyleGAN简介

StyleGAN是英伟达提出的一种用于天生对抗网络的替代天生器体系构造,该构造借鉴了样式迁移学习的成果。
新构造能够实现自动学习,以及无监督的高等属性分离(比如在利用人脸图像演习时区分姿势和身份属性)和天生的图像(如雀斑,头发)的随机变革,并能在图像合成和掌握上实现直不雅观化和规模化。

新模型在传统的分布质量指标方面实现了提升,并且更好地办理了潜在的变量成分。
为了对插值质量和分解进行量化,本模型提出了两种适用于任何天生架构的自动化新方法。
以及一个新的、高度多样化、高质量的人脸数据集。

英伟达研究职员在论文中写道,他们提出的新架构可以完成自动学习,无监督地分离高等属性(例如在人脸上演习时的姿势和身份)以及天生图像中的随机变革,并且可以对合成进行更直不雅观且特定于比例的掌握。

换句话说,这种新的GAN在天生和稠浊图像,特殊是人脸图像时,可以更好地感知图像之间故意义的变革,并且在各种尺度上针对这些变革做出勾引。

例如,研究职员利用的旧系统可能产生两个“不同”的面部,这两个面部实在大致相同,只是一个人的耳朵被抹去了,两人的衬衫是不同的颜色。
而这些并不是真正的面部特异性特色,不过系统并不知道这些是无需重点关注的变革,而当成了两个人来处理。

在上面的动图中,实在面部已经完备变了,但“源”和“样式”的明显标记显然都得到了保留,例如最底下一排图片的蓝色衬衫。
为什么会这样?请把稳,所有这些都是完备可变的,这里说的变量不仅仅是A + B = C,而且A和B的所有方面都可以存在/不存在,详细取决于设置的调度办法。

下面这些由打算机天生的图像都不是真人。
但如果我见告你这些图像是真人的照片,你可能也不会疑惑:

效果如此出众的StyleGAN一经开源就成了“网红”,由该模型天生的假脸险些完备可以乱真,纵然是放大了仔细看,大多数情形下依然难以分清,其难度堪比“大家来找茬”。

为此,有人乃至专门写了一篇指南,专门指示那些有兴趣“鉴脸”的人,该文总结出了StyleGAN天生假脸的几处常见的马脚。
不过,这些马脚大部分是在图片背景、配饰、衣物等附加元素上找到的,面部本身的马脚虽然也有,但显著性和易见性都要低落一个档次。

上图的StyleGAN天生图像在面部上险些无马脚,但旁边耳的首饰不对称

被玩坏的StyleGAN:从“假人脸”到“假屋子”,天生世间万物

StyleGAN天生假脸图像的逼真程度令人惊艳,但这么厉害的模型只能用来天生假人脸吗?显然不是。
很快,越来越多的吃瓜群众创造了StyleGAN的更多潜力。
比如天生假的出租房。

前不久,就有好事者利用StyleGAN天生了一个假的Airbnb租房网站,上面从房源图片、地址、再到租客的评论和打分没有一个是真实的,全是StyleGAN的精品。

假房天生网站 thisairbnbdoesnotexist.com,每次刷新都会涌现一个虚假的房源,网页上的照片、笔墨描述、发布人头像均由打算机自动天生。
由于利用的模型非常大略,笔墨描述多有不合逻辑之处,但乍看上去还是能以假乱真。
来源:假房天生网站 thisairbnbdoesnotexist.com

AirBNB网站截图,避免广告嫌疑做了虚化处理

根据Christopher Schmidt在Twitter的先容,天生每个网页用一块GPU只需0.5秒,干系代码开源,你可以在这里找到:

https://colab.research.google.com/github/tensorflow/tpu/blob/master/tools/colab/shakespeare_with_tpu_and_keras.ipynb

这个“假房源”网站是怎么做的?

网站上的图像当然由著名的图像天生模型StyleGAN天生,文本则来清闲一个AirBNB列表(文末链接[1])上演习的措辞模型,紧张基于Tensorflow的“Predict Shakespeare with Cloud TPU”(https://t.co/sJoUbwZ2UL)。

这个文本天生模型彷佛是个两层的前馈LSTM(文末链接[2]),紧张是用它来独立演习天生房屋列表中的标题、描述、房东姓名、地理位置等,然后组合天生综合列表。

每个模型的输出都是预师长西席成的,每5秒创建一个新的列表(网页)。
唯一的修恰是根据文本轻微调度序列大小。

下面是Christopher Schmidt在Twitter上对这个“假屋子”网站的简要先容,包括灵感来源、大致构造、构建页面利用的框架和演习办法等。

本页面在开拓时紧张利用以下几种模型:在构建图片和寝室照片时利用StyleGAN,一些文本网络的演习利用了tf.keras来天生地点名称、房东姓名、标题和描述。
此外还利用了Tensorflow的实例代码) 所有的数据演习过程都在谷歌的Colab上完成,该平台上可以免费利用GPU和TPU来演习和天生数据。

每个模型都可以做出独立的预测,以是会常常涌现各部分信息不相配的情形,比如描述信息中说某套屋子有一间寝室,但列表信息中显示有四件寝室,或者外不雅观和名字排列不齐等。
但总的来看,这个过程是比较空想的,我在这个学习过程中也得到了不少乐趣,进一步节制了一些模型的利用技巧。
这里要感谢Colab平台,更感谢StyleGAN社群的出色研究成果。

有了这个思路,运用方向什么的就不用愁了,基于StyleGAN模型的假简历、假食品、假猫咪等等如雨后春笋一样不断呈现。
乃至有人把这些“造假成果”汇总到了一个网站,叫“这些东西都不存在”。

这样看来,StyleGAN已经火到了险些要被“玩坏”的程度。
未来再涌现什么样的赝品,可能已经不取决于模型本身,而是程序员们的脑洞了。

先容了这么多,大家是不是也想玩一玩StyleGAN呢?打开下方链接,快去尝鲜吧!

参考链接:

https://www.reddit.com/r/MachineLearning/comments/bagnq6/p_stylegan_trained_on_paintings_512x512/

https://github.com/NVlabs/stylegan