在这篇文章中,我们会开拓一个提取连衣裙的运用。它输入原始的图像(从网络高下载或用智好手机拍照),并提取图像中的连衣裙。分割的难点在于原始图像中存在了大量的噪声,但是我们会在预处理期间通过一个技巧来办理这个问题。
数据集最近有一项关于服装视觉剖析和分割的Kaggle比赛。这是一个非常有趣的比赛,但它并不适宜我们。我们的目标是从图像中提取连衣裙,因此这个数据集不太适宜我们,由于它包含了比较多的冗余。我们须要的是包含连衣裙的图像,因此最好自己来构建数据集。
我网络了网络上的一些图片,个中包含了在不同场景穿着不同类型的连衣裙的人。然后须要创建蒙版,它在每个工具分割任务中都是必要的。
下面是我们的数据样本。我从互联网上网络了一些原始图像,经由进一步剪切,将人与衣服分开。
图像分割示例
由于我们要将背景、皮肤和连衣裙进行分离,首先要将它们区分出来。背景和皮肤是本问题中最干系的噪声源,我们要只管即便减少它们的滋扰。
通过手动分割来创建蒙版,如下图所示,大略的对蒙版进行二值化。
蒙版示例
末了一步,我们将所有的蒙版图像合并为三维的单个图像。这张照片表示了原始图像的干系特色。我们的目的紧张是分离背景,皮肤和连衣裙,因此这个图像非常适宜!
终极蒙版
我们对数据集中的每个图像重复这个过程,为每个原始图像供应三维的对应蒙版。
模型我们可以很随意马虎的建立模型,过程非常大略:
我们须要演习这样一个模型,该模型输入原始图像,可以输出它的三维蒙版,即分离皮肤、背景和衣服。演习完成之后,当一个新的图像输入时,我们就可以将它分成三个不同的部分:背景、皮肤和衣服。我们只关注感兴趣区域(连衣裙),这样蒙版结合原始图像,就可以裁剪出我们须要的连衣裙。
我们利用UNet建立该模型,它常常用于类似的分割任务,而且很随意马虎在Keras中实现。
在开始演习之前,要对所有的原始图像进行均值标准化。
结果和预测在预测期间,当碰着高噪声的图像(背景或皮肤模糊等)时,模型开始动荡。这种问题可以大略地通过增加演习图像的数量进行办理。但我们也开拓了一个奥妙的方法来避免这种问题。
我们利用 OpenCV 供应的 GrubCut 算法。该算法利用高斯稠浊模型分离前景和背景。通过它可以帮助我们找到图像中的人物。
我们只实现了大略的功能。假设感兴趣的人站在图像的中间。
def cut(img): img = cv.resize(img,(224,224)) mask = np.zeros(img.shape[:2],np.uint8) bgdModel = np.zeros((1,65),np.float64) fgdModel = np.zeros((1,65),np.float64) height, width = img.shape[:2] rect = (50,10,width-100,height-20) cv.grabCut(img,mask,rect,bgdModel,fgdModel,5, cv.GC_INIT_WITH_RECT) mask2 = np.where((mask==2)|(mask==0),0,1).astype('uint8') img2 = imgmask2[:,:,np.newaxis] img2[mask2 == 0] = (255, 255, 255) final = np.ones(img.shape,np.uint8)0 + img2 return mask, final
实行GrubCut结果
下面是结合利用GrubCut和UNet之后的结果:
GrubCut与UNet相结合得到了精良的结果。
总结在这篇文章中,我们为连衣裙分割开拓了一套办理方案。为了达到这个目的,我们利用了GrubCut和UNet。我们操持在真实照片中利用这个办理方案,并根据它构建一个视觉推举系统。
代码地址:https://github.com/cerlymarco/MEDIUM_NoteBook/tree/master/Dress_Segmentation