让一个人的踪影从视频中消逝，总是一个难题。比如综艺节目，把效果不好的局部画面删除或者让卡通人物消逝。
假如有个AI，能一键把这些人物都删掉，还让不雅观众看不出疏忽就好了。现在，一项CVPR 2019上的研究，让这个需求变成了现实。
拿美队3举个例子，机场大战中，飞舞的赤色小人便是被标记出来的蜘蛛侠，他正在用蜘蛛丝把蚁人绑起来。
现在，AI出马，蜘蛛侠不见了，留下蚁人独自被蜘蛛丝捆绑纠缠，仿佛这些蜘蛛丝拥有了自动捆绑功能。
再比如，《猖獗动物城》里的兔兔朱迪，也被用赤色标注了。它本来在冰面上奔跑，爬上冰山，耐不住滑溜溜的冰面，掉进了水里。
在AI脱手之后，朱迪就免去了爬冰之苦，镜头里只有她留在冰面上的影子。原来人物的位置，被修复的非常完美，险些看不出来曾经有只兔兔被抠了出去，就彷佛电影的动画团队把这个镜头重新做了一遍。
看到这样的效果，不知道上面那两部节目的后期会不会哭晕：长期加班搞出来的效果，别人家的AI就自动完成了，而且毫无违和感，让人物消逝的无影无踪。
其余，估计拍Vlog的视频主播们也会愉快的弗成：再也不担心网红打卡地各处都是人了，直接用AI删掉多方便！
背后的AI，是名叫光流勾引 (Flow-Guided)的视频修复算法。它紧张来自喷鼻香港中文大学-商汤科技联合实验室和南洋理工大学-商汤科技联合实验室，中选了CVPR 2019。目前，这项研究的代码已开源。
那么问题来了，在一片热闹的景象里，抹掉一个剧烈运动的人物，怎么会这般轻松自若？
追光者就像开头提到的那样，隐身术是用光流 (Optical Flow) 炼成的。所谓光流，视觉上长这样：
左边是遮挡版，右边是AI补全版
事实上，它是描述物体运动情形的一个观点，James Gibson在1950年就提出了：指的是空间运动的物体在不雅观察平面上，像素运动的瞬时速率。不雅观察者嘛，可以是人类的肉眼，也可以是摄像机。
在摄像机拍下的视频里，帧与帧之间是有韶光顺序的，这样就可以从相邻两帧之间算出光流，那便是物体的运动信息。学到这样的信息，可以用来做目标检测，也可以用来修正视频。团队开拓了一个两步的算法：
第一步，估计光流。第二步，用光流来辅导修复。
上为第一步，下为第二步
现在，把这两步拆解一下。第一步，光流估计，把视频上的某个部分挡住，AI要把这一部分的光流补充完全。比如，下图的赤色便是遮挡部分。
团队设计了一个叫做DFC-Net的网络，学着把不完全的光流补充完全。而在AI的演习数据里，遮挡是随机天生的，对照完全的视频来学习：
左边是随机遮挡；右边是遮挡之后 (用大略添补算法初始化得到) 的光流，等待补全；中间是标答。
DFC-Net有三个子网络。第一个子网络，卖力在一个粗糙尺度上补全光流；把结果交给第二个子网络，细化一下。再交给第三个网络，进一步细化：
这样，就有了终极的光流补全结果。
第二步，就该根据光流来修复视频了。
事理是，某一帧里被遮挡的信息，在其他帧里可能是存在的。根据光流供应的运动信息，就可以用其他帧里的已知像素，来补充当前帧的未知像素了。
当然，还有一些信息，整段视频都没显示。这一部分，就要靠传统图像修复网络Deepfill来脑补了。讲完事理，来全方位不雅观察一下，算法的功效究竟如何。
完美消逝的马术选手
新的方法若何，要和精良的前辈比一场才知道。对手有两位，一是来自CVPR 2018的Deepfill，二是Huang et al出品、中选SIGGRAPH 2016的算法。
这是第一题，把马术选手和ta的马，从视频里面抹掉：
Deepfill (右上) 单靠脑补，马的痕迹十分明显；Huang et al (左下) 自然了许多，但依然有些灰蒙蒙的残留；比较之下，新算法修过的视频，只留下了地上的影子。
还有第二题，把轮滑妹子面前的水印去掉：
下面是Huang et al前辈的结果，当妹子跳过水印原来的位置，依然看得出不少灰色的污迹：
而本文主角修复的结果，险些看不出视频曾经有过水印：
当然，不止是肉眼不雅观察的结果，这只新的AI在YouTube-VOS和DAVIS两大数据集上，得分都比前辈更胜一筹：
其余，研究者们还找了30名吃瓜群众，仔细测试人类的不雅观感。首先在目标移除方面，将近80%的用户认为第一名应该是这项研究 (蓝色部分) 。
而在背景添补方面，也有近七成用户认为这项研究的添补效果是最好的。
这篇论文的研究职员中，一作徐瑞和二作李晓潇来自喷鼻香港中文大学-商汤科技联合实验室，三作周博磊是港中大信息工程系助理教授，MIT博士毕业。
末了一位作者吕健勤（Chen Change Loy），博士毕业于伦敦玛丽女王大学，现在是南洋理工大学打算机科学与工程学院的副教授，他同时还是港中大的客座副教授，此前也一贯在港中大多媒体实验室任教。
一个彩蛋你看，刻苦练习之后，身为一只兔子的朱迪，用精良的弹跳能力填补了身高劣势，反超队友：
但实力还是可以隐蔽的，于是她又把自己融进了雪水：
论文：Deep Flow-Guided Video InpaintingRui Xu, Xiaoxiao Li, Bolei Zhou, Chen Change Loyhttps://arxiv.org/abs/1905.02884项目主页：https://nbei.github.io/video-inpainting.html开源代码：https://github.com/nbei/Deep-Flow-Guided-Video-Inpainting