终于,我小学时的梦想有人实现了!

只须要我拍下自己的字迹,AI就能帮我誊抄英语作业,画风“完备同等”的那种:

乃至帮别人抄作业也没问题……

切实其实吊打一批只能仿手写、价格还动辄几百上千的“作业神器”。

AI高仿你的笔迹只需1个词Deepfake文字版来了网友以假乱真

咳咳,划重点:

虽然功能很强大,但这可不是给你们抄英语作业的。
(作业就得负责做!

这是Facebook AI最新出品的“笔墨风格刷”(TextStyleBrush),它只须要一张字迹的照片,就能完美还原出一整套文本字迹来。

不仅能移花接木,凭空将“酱油瓶”变成“茶壶”:

还能直接实现风格更换,让蔬果店里的所有印刷字都变成手写体:

这样看来,现在就连照片笔墨,也不一定是真实的了。

比格式刷还强:文本也能换

在实际利用过程中,TextStyleBrush真的便是个格式刷,哪里须要刷哪里。

它真正厉害的便是仿照手写字体。

只需输入一段文本内容,加上你的字迹,1个单词即可,它就能天生“手写版”。

这个效果,用肉眼看真的是分辨不出真伪!

把菜场中价签的印刷体都换成手写体的过程中,它还能识别出不是印刷体的样本,自动跳过转换合成。

△两个手写标签并没有被变动

仿照特定字体格式时,TextStyleBrush表现也很不错。

包括海报、垃圾桶、路牌、饮料瓶、店面装饰……各种笔墨的风格都能handle:

除了直不雅观的效果,开拓职员对合成图片也做了数据上的剖析。

TextStyleBrush天生的图片在合成偏差(MSE)上大幅降落,峰值信噪比(PSNR)和构造相似性(SSIM)也提高不少。

在笔墨识别的准确性上,TextStyleBrush在三组数据集中的表现都不错:

准确率都高达95%以上。

拿GAN改一改,真假笔墨难辨认

据Facebook先容,“笔墨风格刷”TextStyleBrush是一个基于自监督方法演习的模型,可以对相同文本内容的笔墨进行风格转换,就像格式刷一样。

当然,不但是Word的格式刷,它乃至能直接对照片中的笔墨进行更换,因此模型还须要学习笔墨识别和图像分割的方法。

△逆光场景也不在话下

为了同时实现图像分割和笔墨风格转换,TextStyleBrush模型基于StyleGAN2进行了设计,后者能天生非常逼真的图像照片。

然而,StyleGAN2存在两个问题:

首先,它天生图像的办法是“随便乱打”的,也便是没办法掌握输出图像特色。
但TextStyleBrush必须要天生指定文本的图像。
其次,StyleGAN2的整体风格不受掌握,但TextStyleBrush中的风格涉及大量信息组合,包括颜色、尺度和风格转换等特色,乃至是带有个人特色的字迹细节差异。

为此,TextStyleBrush首先通过将文本信息和风格作为两个“附加条件”掌握模型输出,来办理模型随机天生图像的问题。

然后,为了进一步更风雅地掌握文本的风格特色,还会提取神经网络层中的各种风格信息,并将这些信息注入文本天生器中,便于从各种尺度(颜色、整体风格、细节)上掌握笔墨的风格。

除此之外,由于不同的图片分辨率不同,天生器还必须天生和更换区域分辨率相似的笔墨。

为此,这一模型加入了能够掌握高低分辨率的构造,使得天生的笔墨图像能匹配输入图像的分辨率。

就像这样,更换前后也不会涌现字体清晰度差异大的问题:

但不同于照片,笔墨的风格实在要更加自由,以是有时候画风的真实性不好说。

为此,在演习的时候,Facebook引入了一种创新的自监督演习方法,结合风格分类、文本识别(OCR)和GAN三种模型来保留输入的风格/笔墨内容,再决定要更换哪个。

例如,在文本识别上,让TextStyleBrush天生文本图像后,模型会用一个预演习文本识别构造来“判断”图像的笔墨内容,并给它打分。

事实证明,这样演习出来的模型,确实很好用。

网友:以假乱真?我真有点担心……

合成人脸已经玩太多了,合成字迹还是头一回。

而且它的效果真的还不错!

以是,TextStyleBrush一经发布,就引来了很多人的围不雅观。

已经有网友开始想象它的用场了:

欢迎来到花式署名的天下!

LeCun也转发了一波。

不过,能看不能玩实在是太难熬痛苦了,有手痒的网友就跑来提问:

TextStyleBrush会对大众开放利用吗?

是日然也就引出来一个会引起争议的点:

合成后的字迹足以以假乱真,如果被滥用或恶意利用怎么办?

假设任何一个人的字迹都能被非常轻松地合成,那许多须要具名的场合该怎么办呢?

例如,有网友表示,假如连年夜夫们的“草书”处方都能模拟……

而除了安全隐私问题上的担忧,这对字体设计师来说也不是个好。

毕竟各款字体实在都是有版权的,如果可以被轻松仿照出来,那岂不是盗版满天飞,乃至连作者本尊都分辨不出来真伪。

有网友就表示:这离真假难辨的反乌托邦天下更近了一点……

对此,Facebook的CTO作出了回应:

由于可能会被用来假造字迹,以是我们只发布论文和数据集,源代码并不会开源。

分享研究和数据集,也更多是为了预防文本版Deepfakes。

你以为呢?

TextStyleBrush数据集:https://github.com/facebookresearch/IMGUR5K-Handwriting-Dataset

论文地址:https://scontent-fml2-1.xx.fbcdn.net/v/t39.8562-6/10000000_944085403038430_3779849959048683283_n.pdf

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一韶光获知前沿科技动态