AI 隐身术能让物体在视频中消失的魔法。

正在坐秋千的小孩，溘然只剩下秋千架。

让溜达的行人消逝，让奔驰的汽车消逝。

这么好玩的 AI 算法，你想学吗？

老规矩，本日，连续手把手传授教化。

算法事理、环境搭建、效果实现，一条龙做事，尽不才文！

FGVC 的作者是一位 90 后北京小伙，目前在弗吉尼亚理工大学打算机工程专业就读博士三年级，师从华人教授 Jia-Bin Huang。

FGVC 算法实质上是一个基于光流法的视频修复算法。

光流法是视域中物体运动检测的观点，其用于描述运动所造成的不雅观测目标、表面或边缘的运动，紧张运用于打算机视觉和影像处理等。

利用光流法，可寻到不同帧之间的关系，并通过在不同帧之间传播信息来补全视频。

FGVC 紧张包含三个步骤：Flow completion、Temporal propagation、Fusion。

Flow completion：详细操作时，要打算相邻帧之间的正向光流和反向光流、以及一组非相邻帧 (Non-local) 的正向光流和反向光流。

Temporal propagation：按照光流的轨迹，为每个丢失的像素找到一组候选像素，对付每个候选帧，都要估计一个置信分数以及一个二进制有效性指标。

Fusion：利用置信加权均匀值，将每个缺失落像素的候选像素与至少一个有效候选像素领悟。
对付没有候选像素，则利用一个关键帧，并利用单个图像补全技能来添补它。

更详细的事理，比如边缘勾引的光流补充等，可以去「啃下」论文，学习一下。

Paper 地址：

https://arxiv.org/abs/2009.01835

想要测试算法效果，先要支配下开拓环境。

Github 开源项目地址：

https://github.com/vt-vl-lab/FGVC

Github 下载慢的，可以下载我已经打包的代码（提取码：4lgs）：

https://pan.baidu.com/s/1rh1I2B4ssjiNdydUc_DflA

推举利用 Anaconda 完成支配。

FGVC 算法依赖于其余两个算法 DeepFill 和 RAFT。

①创建两个虚拟环境 FGVC 和 raft。

FGVC 环境利用 PyTorch 0.4.0，并配置算法 DeepFill 的环境。

DeepFill 环境配置方法：

https://github.com/nbei/Deep-Flow-Guided-Video-Inpainting#install--requirements

命令安装依赖库：

raft 环境利用 PyTorch 1.6.0，并配置算法 RAFT 的环境。

RAFT 环境配置方法：

https://github.com/princeton-vl/RAFT#requirements

用conda 安装所需库。

配置完毕，测试算法效果。

①激活 raft 虚拟环境，直到运行结果涌现提示：

「Please switch to Pytorch 0.4.0」

②切换到 FGVC 虚拟环境，再运行

cd tool

python video_completion.py \

--mode object_removal \

--path ../data/tennis \

--path_mask ../data/tennis_mask \

--outroot ../result/tennis_removal \

--seamless

cd tool

python video_completion.py \

--mode video_extrapolation \

--path ../data/tennis \

--outroot ../result/tennis_extrapolation \

--H_scale 2 \

--W_scale 2 \

--seamless

想要打算速率更快些，可以去掉 seamless 参数。

算法须要 rgb 图片和 mask 图片，这些数据是已知的，想要去除什么物体，给个物体的 mask 即可

Github源码地址：https://github.com/vt-vl-lab/FGVC