量子位 出品 | "大众号 QbitAI
“大神,可以帮我把羊蜜街拍P成我的脸么?哦对,不只是这样,还要像羊蜜哟…”
从一张照片里取出某个元素,再把它神不知鬼不觉地混入另一张图片里,彷佛是一件很有难度的事情。毕竟,分分钟就会产生魔性的拼贴效果,不管是手动操作,还是AI的打算。
而如果“另一张图片”是指人类的画作,就更加不随意马虎了。
不过,康奈尔大学和啊逗比的大神们生产了一种算法,能把各种物体领悟进画作里,且毫无PS痕迹。
大量艺术家的心血,乃至艺术家自己,都惨遭它的毒手:
要啥自行车
蒙娜憨莎·豆
毕加炳
给你买了个biao
樊 · 蔡康永 · 高
是什么算法,如此丧心病狂?
记住这个名字:Deep Painterly Harmonization。
在康奈尔和啊逗比的P图大神们看来,现存的全局风格化算法都太弱了。
它们确实能搞定整张照片的风格迁移。把画作和被画传染的图片摆在一起,可能不会看出太大的问题。
先容一下,这是我的新装备
但要像上图这样,把美队的盾牌领悟到意大利画家Onofrio Bramante的作品里,眇小的差异看上去就会很明显。全局风格迁移的表现也比较谦逊 (如左三) 。
无论是去除边界线、匹配色彩还是细化质地,都很难让粘贴部分拥有画作的原始风格。
我们不一样于是,这群大神以为,他们须要搭建局部风格化的神经网络。
大的方略便是,把画作干系部分 (神经元相应) 的特色统计,迁移到外来物体的对应位置上——关键在于选择,哪些东西才是该当迁移的。
Gatys有只几何猫
小伙伴们以Gatys团队揭橥的风格迁移技能为根本,用VGG搭建了一个two-pass算法,还额外引入了一些风格重修丢失 (Reconstruction Losses) 来优化结果。
来来来,算法详情要一步一步看。
第一步 (First Pass):粗略图像折衷 (单一尺度)大致调度外来元素的色彩和质地,和画中语义相似的部分对应。要在神经网络的每一层,分别找到相邻最近的神经补丁,和粘贴部分的神经元相应匹配起来。
卷福丽莎,迷人的眼神
退一步,海阔凭鱼跃。先不须要太纠缠图像的质量,由于一定程度上捐躯品质,团队就可以设计出一个强大的算法,适应多种多样的画风。
用Gram矩阵来打算风格重修丢失,便可以将粗略折衷的版本优化一下。
不计风格丢失的后果
这里得到的是一个中间产物,不过风格已经和原画作很相似了。
第二步 (Second Pass):高品质细化 (多尺度)有了第一步的根本,此时开始对图像质量提出严格哀求,便是顺理成章。
这一步,先要在一个卖力捕捉质地属性的中间层集中火力,天生一个对应关系图 (correspondence map) ,来剔除空间非常值 (spatial outliers)。
你沉在,我昏黄的画布里
然后,对拥有空间同等性的对应图进行上采样 (upsample) ,进着迷经网络更加风雅的层次里。这样可以担保,对每一个输出位置来说,所有尺度上的神经元相应,都来自画中的同一位置。
如此一来,画面便能拥有更加连贯的质感,看上去自然许多。
后处理经由Two-Pass算法的洗礼,中大尺度上看,图像质量险些无懈可击;但在风雅尺度上,可能还有不足准确的情形存在。也便是说,可远不雅观而不可__焉 (填空题:10分)。
于是,后处理也要两步走:
色度降噪
高频失落真的征象,紧张浸染在色度通道,对亮度并没有太大影响。
创造了这一特点,团队将图像转换成CIELAB色彩空间;再在Guided Filter里,以亮度通道作为引导,来过滤ab色度通道。
事情还是生活,这是一个问题
这个方法有效改进了高频色彩失落真的情形,但有可能捅出更大的漏洞。然后…
补丁合成
就有了第二步,来确保输出的每个补丁都涌如今画面中。用PatchMatch给每一个补丁找到相似的补丁。再为所有画风重叠的补丁取均匀值,以此重构output,就可以担保画面里不要生出新的内容。
不过,这里的副浸染是会柔化细节,于是又要请出Guided Filter把图像分成底层 (Base Layer) 和细节层 (Detail Layer) ,来削弱柔化效果。
画风虐我千百遍,我,选择狗带
局部迁移疗效显著实验结果表明,转移一些区域特色统计的凑集,要比转移很多独立位置的特色统计,效果要好得多。神经网络反应的对应关系图帮了大忙。
局部风格迁移的算法,保障了统计学意义上的空间同等性和跨尺度同等性。得到天衣无缝的拼图质量,这两个“同等性”功绩斐然。
金拱门的八度人生
往后,拼图少年们大概可以抛弃全局风格迁移算法了。放眼局部,你的脑洞可以绽放得惨无人性。
不过,比起难以察觉的入侵,我还是醉心于这种360度全去世角的魔性p图。
万能的拷贝,万能的粘贴
更酸爽的论文传送门:
http://www.cs.cornell.edu/~fujun/files/painting-arxiv18/deeppainting.pdf
这篇论文的作者包括:Fujun Luan(栾福军)、Sylvain Paris、Eli Shechtman、Kavita Bala等人。他们还把代码开源了,还能看到更多触目惊心的例子:
https://github.com/luanfujun/deep-painterly-harmonization
顺便提一下,论文一作栾福军,2015年本科毕业于清华,目前在康纳尔大学攻读博士学位。曾在Facebook、Face++、Adobe等公司演习。
艺术照小哥哥一贯在研讨视觉的玄妙。
比方说曾经被誉为“下一代PS”的Deep Photo Style Transfer,也是栾福军的研究成果。Deep Photo能实现像素级的风格迁移。
也是非常酷炫。
One More Thing
如果你暂时未便利去GitHub上围不雅观,我们还搞了一个小型AI高手P图展。在量子位"大众年夜众号(ID:QbitAI)对话界面,回答“高手”二字,即可开始参不雅观。
— 完 —
诚挚招聘
量子位正在招募编辑/,事情地点在北京中关村落。期待有才华、有激情亲切的同学加入我们!
干系细节,请在量子位"大众年夜众号(QbitAI)对话界面,回答“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技能和产品新动态