谷歌最新视频抠图术影子烟雾都能抠添加水印更顺滑 开源

量子位 宣布 | "大众年夜众号 QbitAI

如何更顺滑的添加水印？

谷歌的这项新技能，让文本切实其实就像贴在地面上，哪怕是在沙尘横飞的场景里。

方法也很大略。

只需输入一段视频，和指定工具的粗略蒙版。

那这个工具的所有干系场景元素，都能解锁！

比如人和狗的影子。

还有黑天鹅缓缓拂过的荡漾~

以及上述那个赛车奔跑过后激起的沙尘。

不管是任意工具和主体，不论怎么移动，所有元素都能抠出来。

这便是谷歌最新的视频分层技能——omnimatte，入选CVPR 2021 Oral。

目前这项技能都已开源。

打算机视觉在分割图像或视频中的工具方面越来越有效，然而与工具干系的场景效果。

比如阴影、反射、产生的烟雾等场景效果常常被忽略。

而识别这些场景效果，对提高AI的视觉理解很主要，那谷歌这项新技能又是如何实现的呢？

大略来说，用分层神经网络渲染方法自监督演习CNN，来将主体与背景图像分割开来。

由于CNN的特有构造，会有方向性地学习图像效果之间的干系性，且干系性却强，CNN越随意马虎学习。

输入一段有移动物体的视频，以及一个或者多个标记主体的粗略分割蒙版。

首先，利用现成的分割网络比如Mask RCNN，来讲这些主体分成多个遮罩层和背景噪声图层，并按照某种规则进行排序。

比如，在一个骑手、一辆自行车以及几个路人的场景中，就会把骑手和自行车归入一个层，把人群归入第二层。

omnimatte模型是一个二维UNet，逐帧处理视频。
每一帧都用现成的技能来打算物体掩码，来标记运动中的主体，并探求和关联蒙版中未捕捉到的效果，比如阴影、反射或者烟雾，重修输入帧。

为了担保其他静止的背景元素不被捕获，研究职员引入了稀疏丢失。

此外，还打算了视频中每一帧和连续帧之间的密集光流场，为网络供应与该层工具干系的流信息。

最终生成Alpha图像（不透明度图）和RGBA彩色图像，尤其RGBA图像，切实其实可以说是视频/图像剪辑法宝！

目前这一技能已经开源，配置环境如下：

技能效果如此，那有什么样的用场呢？

首先就可以复制或者删除图像。

还有顺滑地切换背景。

还可以实现这一经典操作，让原来依次掉水的小孩一起入水~

背后的团队

末了再来说一下背后的团队。

这项研究由谷歌研究院、牛津大学以及魏茨曼科学研究所共同完成。

个中，论文一作是牛津大学四年级博士生Erika Lu，曾是谷歌演习生，在麻省理工学院得到了打算机科学与工程学士学位。

论文链接：https://arxiv.org/pdf/2105.06993.pdf

参考链接：https://ai.googleblog.com/2021/08/introducing-omnimattes-new-approach-to.htmlhttps://github.com/erikalu/omnimattehttps://omnimatte.github.io/https://erikalu.com/

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一韶光获知前沿科技动态