每年数以百万计的人都热切地等待着新一代神奇宝贝的发布。只管收藏不断增加,但目标始终如一——Gotta Catch 'Em All!
作为一个狂热的神奇宝贝粉丝和人工智能爱好者,我曾多次考试测验将两者领悟都失落败了。 几年前,由于天生对抗网络 (GAN) 的涌现,当图像天生开始发达发展时,我考试测验利用当时最前辈的模型人工天生 Pokémon 图像。 首先看看失落败的作品。
随着图像天生领域的进步,可以天生的神奇宝贝的质量也在不断提高。 一年后利用 ProGAN 的第二次考试测验产生了轻微好一点的结果。 虽然它捕捉到了神奇宝贝的清晰轮廓,但它严重缺少任何细节 。
最近几年,天生建榜样畴取得了重大进展。随着 Transformer 的涌现及其在海量数据上进行自监督学习的利用,图像天生进入了一个新时期。这些模型常日规模弘大,能够利用大量未标记的数据来学习高质量的表示。因此,这些模型可以在少量数据上进行微调,利用这些预先演习的表示来产生出色的结果。
值得一提的是模式崩溃的想法。当模型找到它认为最合理的图像时,它过于专注于产生特定的输出,导致图像缺少多样性。早期的 GAN 深受这个问题的困扰,这反响在天生的 Pokémon 缺少多样性上。
OpenAI 的 DALL-E,这是一种基于transformer 措辞模型,能够利用文本-图像对的数据集从文本中天生高保真的图像。 DALL-E 利用离散变分自编码器 (dVAE) 的组合来得到离散的潜在表示,同时利用强大的基于自回归transformer 的解码器来天生高质量的图像。 dVAE 的利用有助于规避后验崩溃的问题——当它们与强大的自回归解码器配对时,潜在变量被忽略。
如果我们可以管理一个描述 Pokémon 及其干系图像的文本图像对数据集会若何?然后可以用 DALL-E 对其进行微调以学习文本中视觉观点之间的干系性,例如神奇宝贝的类型,从而可以掌握它天生的图像的属性。例如,将句子“草毒类神奇宝贝”通报给模型将天生草和毒类神奇宝贝的图像(常日被描述成绿色和花朵状)。
在最近完成了该系列最新游戏《神奇宝贝:残酷钻石》的通关过程中,我把稳到每个神奇宝贝都拥有自己的 3D 模型。 我们又有一个不错的新数据集可以玩了!
有了这些新创造的知识,我匆忙开始策划一个数据集来微调 DALL-E。 这包括神奇宝贝的图像和类型的笔墨描述,以及神奇宝贝一些独特的属性。
在一些现成的 DALL-E notebook的帮助下拼凑一些 PyTorch 代码,并将新创建的数据集放入模型中进行几个小时的微调,模型已经可以创建一些新的神奇宝贝!
天生 Pokémon 就像用文本描述提示模型一样大略。 这里有一堆例子供你娱乐。
A grass type Pokémon
A fire type Pokémon
A water type Pokémon
A dragon type Pokémon
A fairy type Pokémon
A legendary water and dragon type Pokémon
图像天生在过去几年中取得了长足的进步。 从天生模糊的像素块到能够根据文本描述天生神奇宝贝的合理图像是一项巨大的壮举。虽然图像还须要修复,但是它可以给我们带来无穷无尽的创意。
这些生物都没有名字,以是我欢迎大家提交你认为适宜这些“神奇宝贝”的名字!
作者:Liam Eloie