编译：ronghuaiyang
导读
你好，这篇文章可以看作是对深度图像修复的复习，以及对新手的深度图像修复的先容。之前已经有10多篇关于图像修复的深度学习方法的文章。是时候简要回顾一下我们所学到的知识了。
图1所示，图像修复运用的例子
图像修复是一项任务，补充图像中缺失落的像素，使完成的图像看起来很真实，并遵照原始(真实)的高下文。图1显示了一些运用，如删除不须要的目标和交互式图像编辑。只要你想，还有许多可能的运用。
术语图2，一个masked输入图像(左)和一个完全的图像(右)的例子
给定如图2(左)所示的已破坏/掩码的输入图像，我们常日定义i) 无效/缺失落/孔洞像素为位于待添补区域的像素，ii)有效的/留下的/ground truth像素作为我们可以用来帮助添补缺失落的像素。把稳，我们可以直接复制有效像素，并将它们粘贴到添补图像的相应位置。
先容添补图像与一些缺失落的部分，最大略的方法是复制粘贴。其核心思想是首先从图像本身的剩余像素或数百万张图像的大数据集中搜索最相似的图像patch，然后直接将patch粘贴到缺失落的部分。然而，搜索算法可能是耗时的，它涉及人工设计间隔度量指标。其通用性和效率仍有很大的提高空间。
由于基于深度学习的方法和大数据时期，我们现在可以有数据驱动的基于深度学习的图像修复方法，可以天生图像中缺失落的像素，具有良好的全局同等性和局部风雅纹理。在这篇文章中，我们将专注于10种著名的基于深度学习的修复方法。我相信在你理解了这10种方法后，你也能理解其他的修复论文。
高下文编码器(第一个基于GAN的修复方法，2016)图3，高下文编码器(CE)的网络构造
Context Encoder (CE, 2016)是第一个基于天生对抗网络GANs的修复算法。本文指出了图像修复事情中一些有用的基本观点。“高下文”一词涉及到全体图像本身的理解，CE的核心思想是Channel-wise全连接层(中间层在网络如图3所示)，类似于标准的完备连接层，最紧张的一点是，所有前一层的特色对当前层的每个特色都是有用的。这样，网络就可以学习到所有特色位置之间的关系，从而对全体图像有更深层次的语义理解。CE已经被视为一个基准，你可以看我之前的文章。用天生模型来做图像规复的先容和回顾：高下文编码器
MSNPS (增强的高下文编码器, 2016)图4，改版的CE中内容网络和纹理网络(VGG-19)的概要
Multi-Scale Neural Patch Synthesis (MSNPS, 2016)[3]可以被认为是CE的增强版本。本文采取改进的CE算法对图像中的缺失落部分进行预测，并利用纹理网络对缺失落部分的预测进行装饰，以提高添补后图像的视觉质量。纹理网络的思想来自于风格转换的任务。我们想把最相似的有效像素的样式转移到天生的像素，以增强局部纹理细节。我认为这项事情是粗到细两阶段网络构造的早期版本。第一个内容网络(这里是CE)卖力缺失落部分的重修/预测，第二个网络(这里是纹理网络)卖力添补部分的细化。通过利用膨胀卷积，该网络能够理解图像的高下文，而不须要利用昂贵的全连接层，因此它可以处理不同大小的图像。
除了扩展卷积的全卷积网络外，还与天生器网络一起演习了两个不同尺度的鉴别器。全局判别器着眼于全体图像，局部判别器着眼于添补的中央孔。同时利用全局和局部识别器，添补图像具有更好的全局和局部同等性。请把稳，许多后来的图像修复论文都遵照这种多尺度判别器的设计。图像修复中的一个里程碑：全局和局部同等性的图像补全
Patch-based Image Inpainting with GANs (GLCIC的一个变体, 2018)图6，提出的天生式ResNet体系构造和PGGAN判别器
Patch-based Image Inpainting with GANs可以看作是GLCIC的变体。大略地说，GLCIC中嵌入了两个前辈的观点，即残差学习和PatchGAN，进一步提高了GLCIC的修复性能。本文作者将残差连接与膨胀卷积相结合，形成膨胀残差块。传统的GAN判别器也被PatchGAN判别器取代，以鼓励更好的局部纹理细节和全局构造同等性。
传统GAN鉴别器和PatchGAN鉴别器的核心差异在于传统GAN鉴别器只给了一个预测标签(从0到1)来表示输入的真实性而PatchGAN鉴别器给出了矩阵的预测标签(从0到1)来表示输入的每个局部区域的真实性。把稳，矩阵中的每个元素都代表输入的一个局部区域。利用多尺度patch合成来做高分辨率的图像复原
Shift-Net (基于深度学习的 “复制粘贴”, 2018)图7，Shift-Net的网络架构，Shift连接层在32x32的分辨率层上添加
Shift-Net利用了当代数据驱动的cnn的优点和传统的“复制粘贴”方法，提出shift-connection层深进行特色重组。本文紧张有两个不雅观点。
首先，作者提出了勾引丢失，鼓励缺失落部分的解码特色(给定掩蔽图像)靠近缺失落部分的编码特色(给定良好条件图像)。因此，解码过程能够在合理估计良好状态图像中的缺失落部分(即缺失落部分的ground truth)的情形下补充缺失落部分。
其次，提出的Shift连接层具有移位操作，使网络能够有效地借用缺失落部分外最近邻居给出的信息，从而细化天生部分的全局语义构造和局部纹理细节。大略地说，我们供应了适当的参考来改进我们的评估。我认为对付对图像修复感兴趣的读者来说，巩固本文提出的不雅观点是有好处的。如何将“复制粘贴”嵌入到图像修复中：Shift-Net利用深度特色重排的图像修复方法
DeepFill v1 (图像修复的一个打破, 2018)图8，DeepFill v1的网络架构
Generative Image Inpainting with Contextual Attention (CA 2018)(也称为DeepFill v1或CA)，可以被视为一个增强版或变体Shift-Net。作者进一步发展了复制-粘贴的思想，并提出了一个可微和完备卷积的高下文把稳力层。
与Shift-connection层类似，通过将天生的缺失落孔内部特色与缺失落孔外部特色进行匹配，我们可以知道缺失落孔外部所有特色对缺失落孔内部每个位置的贡献。因此，可以利用外部所有特色的组合来细化缺失落的洞内天生的特色。与Shift-connection层比较，Shift-connection只有探求最相似的特色(不是可微的)，本文采取软任务，所有特色都有自己的权重来表示他们的贡献。深度图像修复的一个打破
GMCNN (多分支的CNNs进行图像修复, 2018)图9，提出的网络架构
Generative Multi-column Convolutional Neural Networks (GMCNN, 2018)，扩展了足够大的感想熏染野对付图像修复的主要性，并提出了新的丢失函数进一步增强了局部纹理天生内容的细节。如图9所示，有三个分支/列，每个分支利用三种不同的滤波器大小。多重感想熏染野(滤波器大小)的利用是由于感想熏染野的大小对图像修复任务很主要。由于局部相邻像素缺失落，我们不得不借用远处空间位置的信息来补充局部缺失落的像素。
对付丢失函数，隐式多样化马尔可夫随机场(ID-MRF)丢失的紧张思想是勾引天生的特色patch在缺失落区域之外找到其最近的邻居作为参考，这些最近的邻居该当足够多样化，以便能够仿照更多的局部纹理细节实际上，这种丢失是MSNPS中利用的纹理丢失的增强版本。在图像规复中利用多个感想熏染野有什么效果？
PartialConv (不规则孔洞的图像修复, 2018)图10，通过利用常规的masked图像和提出的局部卷积演习的深度修复方法的视觉比较
Image Inpainting for Irregular Holes using Partial Convolutions (PartialConv或PConv)提出了一种处理多个不规则的孔洞的masked图像的修复方法。显然，本文的核心思想是部分卷积。利用PConv，卷积的结果只依赖于有效像素，因此我们可以掌握要在网络内通报的信息。这是第一次针对处理不规则孔洞的修复论文。须要把稳的是，之前的修复模型都是在常规的masked图像上进行演习，因此这些模型不适宜完成不规则的masked图像。利用部分卷积来推动深度图像修复的极限
EdgeConnect (“先画线，再涂色” , 2019)图11，EdgeConnect的网络架构，有两个天生器和两个判别器
EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning供应了一种有趣的办法来完成图像修复任务。本文的紧张思想是将任务分为两个大略的步骤，即边缘预测和基于预测的边缘图的图像补全。他们首先对缺失落区域的边缘进行预测，然后根据预测的边缘信息完成图像。我想说的是，本文中利用的大多数技能已经在我以前的文章中先容过了。这对你有好处，看看如何各种技能可以一起利用形成一个新颖的深图像修复方法。大概，你可以开拓自己的修复模型。先画轮廓，再涂色，一种新的图像修复方法
DeepFill v2 (A Practical Generative Image Inpainting Approach, 2019)图12，自由图像修复模型的网络构造概述
DeepFill v2或GConv, 2019可能是最实用的图像修复算法，可以直策应用在你的运用中。可以认为是DeepFill v1、Partial Convolution、EdgeConnect的增强版本。本文的紧张思想是门控卷积，它是部分卷积的一个可学习版本。通过添加一个额外的标准卷积层和一个sigmoid函数，可以学习每个像素/特色位置的有效性，因此大概可可选的用户草图输入。除了门控卷积外，还采取了SN-PatchGAN来进一步稳定GAN模型的演习。一个实用的天生式深度图像修复方法
末了的想法我希望大家现在对图像修复有一个基本的理解。我相信在我以前的文章中已经涵盖了大多数常用的深度图像修复技能。如果你看过之前的文章，我想现在你已经能够理解文献中其他的修复论文了。如果你是新来的，很欢迎，我希望这篇文章对你有用。
在我看来，对付图像的修复，对付场景构造繁芜，mask比较大的图像(比如缺了50%的像素)，仍旧很难完成。当然，高分辨率图像的修复也是另一个具有寻衅性的任务。所有这些寻衅都可以归类为极度图像修复。、我认为，即将到来的最前辈的修复方法该当能够办理个中的一些寻衅。
—END—
英文原文：https://towardsdatascience.com/10-papers-you-must-read-for-deep-image-inpainting-2e41c589ced0