量子位 出品 | "大众年夜众号 QbitAI

正在研究机器学习的全栈码农Dendrick Tan在博客上发布了一份教程+代码:用PyTorch实现将色块拼凑成的图片,转换为一幅Bob Ross风格的画作。

说到Bob Ross,这头蓬松的秀发你可能有点印象……

他在电视节目《欢快画室》上教了11年画画,还推出了同名的美术用品品牌,也出版了不少教材。

AI让色块秒变鲍伯罗斯风景油画|PyTorch教程代码

他的画,基本上是这个风格:

量子位本日要先容的这个教程,就叫drawlikebobross。

是什么?

drawlikebobross项目的目标是,将一张色块拼凑而成的图片转变成(看起来有点像)Bob Ross油画风格的图像,如下图所示:

怎么做?

获取数据

在我们开始演习网络之前,首先须要获取数据来构建数据集。
幸运的是,通过谷歌搜索,我在twoinchbrush网站上找到了一个关于Bob Ross作品的数据集。

这个网站的优点是它包含所有的Bob Ross作品,并按照如下格式列出:

http://www.twoinchbrush.com/images/painting1.png

http://www.twoinchbrush.com/images/painting2.png

http://www.twoinchbrush.com/images/painting3.png

http://www.twoinchbrush.com/images/paintingN.png

开源代码中的scrapper.sh便是用来完成这项事情的。

数据预处理

由于我们的目标是将色块图片转换为Bob Ross风格的图像,以是我决定利用均匀偏移滤波(mean shift filtering)来实现图像平滑操作,将得到的色块图像作为输入,原始图像作为输出。

为了最大限度地减少演习韶光,我将大部分原始图像预处理成平滑的色块图片,并存储为HDF5格式。
由于HDF5的快速可读写性能,我们能够快速地测试不同的神经网络构造,无需在演习韶光内多次重复预处理数据,这样,就节省了大量的韶光。

神经网络构造

这个项目所利用的网络构造叫做对抗自动编码器(Adversarial Autoencoder),也被简称为AAE。
关于AAE,有一篇博客先容(http://hjweide.github.io/adversarial-autoencoders)和一篇论文(https://arxiv.org/abs/1511.05644)。

博客先容中对AAE的评价是:“我以为本文中最有趣的想法是不利用变分推理方法,而是利用对抗演习的方法将编码器的输出分布q(z | x)映射到任意先验分布p(z)的观点。

△ 对抗自动编码器AAE的网络构造

将数据输入我们的模型

我们希望将色块图片输入到网络,输出为Bob Ross风格的图像。
详细实现流程如下。

△ 利用AAE网络实现风格迁移

我选择利用PyTorch来实现这个模型,是由于我一贯在用它,也是由于与TensorFlow比较,这个框架的API很好用,且保持着很强的同等性,自从用了它,效率提升了几十倍。

该模型的演习过程可以分为四个部分:

models.py:神经网络的构造;

loader.py:数据载入操作;

trainer.py:演习网络的超参数配置;

train.py:演习的启动文件;

通过这种办法,如果想改变神经网络的构造,只须要再次编辑models.py和trainer.py,很随意马虎进行修正。

演习

网络演习的韶光越长,则网络输出Bob Ross风格的图像效果越好。

由于我利用的是ThinkPad t460s,自带的GPU打算性能不好,以是我在AWS上租了一个g2事情站,花了大约一天的韶光,运行了2500步,来演习这个模型。

其余

drawlikebobross的开源代码中还包含一个网页App,欢迎下载测试,见告我们结果如何。

也强烈推举想考试测验PyTorch的同学,花两天韶光用这样一个小项目练手~

我们整理了文章中提到的所有干系链接,在量子位公众号(QbitAI)对话界面回答“色块变油画”查看。

本日AI界还有哪些事值得关注?在量子位(QbitAI)"大众年夜众号会话界面回答“本日”,看我们全网包罗的AI行业和研究动态。
笔芯❤~