正在坐秋千的小孩,溘然只剩下秋千架。
让溜达的行人消逝,让奔驰的汽车消逝。
这么好玩的 AI 算法,你想学吗?
老规矩,本日,连续手把手传授教化。
算法事理、环境搭建、效果实现,一条龙做事,尽不才文!
FGVC 的作者是一位 90 后北京小伙,目前在弗吉尼亚理工大学打算机工程专业就读博士三年级,师从华人教授 Jia-Bin Huang。
FGVC 算法实质上是一个基于光流法的视频修复算法。
光流法是视域中物体运动检测的观点,其用于描述运动所造成的不雅观测目标、表面或边缘的运动,紧张运用于打算机视觉和影像处理等。
利用光流法,可寻到不同帧之间的关系,并通过在不同帧之间传播信息来补全视频。
FGVC 紧张包含三个步骤:Flow completion、Temporal propagation、Fusion。
Flow completion:详细操作时,要打算相邻帧之间的正向光流和反向光流、以及一组非相邻帧 (Non-local) 的正向光流和反向光流。
Temporal propagation:按照光流的轨迹,为每个丢失的像素找到一组候选像素,对付每个候选帧,都要估计一个置信分数以及一个二进制有效性指标。
Fusion:利用置信加权均匀值,将每个缺失落像素的候选像素与至少一个有效候选像素领悟。对付没有候选像素,则利用一个关键帧,并利用单个图像补全技能来添补它。
更详细的事理,比如边缘勾引的光流补充等,可以去「啃下」论文,学习一下。
Paper 地址:
https://arxiv.org/abs/2009.01835
环境配置想要测试算法效果,先要支配下开拓环境。
Github 开源项目地址:
https://github.com/vt-vl-lab/FGVC
Github 下载慢的,可以下载我已经打包的代码(提取码:4lgs):
https://pan.baidu.com/s/1rh1I2B4ssjiNdydUc_DflA
推举利用 Anaconda 完成支配。
FGVC 算法依赖于其余两个算法 DeepFill 和 RAFT。
①创建两个虚拟环境 FGVC 和 raft。
FGVC 环境利用 PyTorch 0.4.0,并配置算法 DeepFill 的环境。
DeepFill 环境配置方法:
https://github.com/nbei/Deep-Flow-Guided-Video-Inpainting#install--requirements
命令安装依赖库:
pip install -r requirements.txtraft 环境利用 PyTorch 1.6.0,并配置算法 RAFT 的环境。
RAFT 环境配置方法:
https://github.com/princeton-vl/RAFT#requirements
用conda 安装所需库。
配置完毕,测试算法效果。
效果测试①激活 raft 虚拟环境,直到运行结果涌现提示:
「Please switch to Pytorch 0.4.0」
②切换到 FGVC 虚拟环境,再运行
cd tool
python video_completion.py \
--mode object_removal \
--path ../data/tennis \
--path_mask ../data/tennis_mask \
--outroot ../result/tennis_removal \
--seamless
cd tool
python video_completion.py \
--mode video_extrapolation \
--path ../data/tennis \
--outroot ../result/tennis_extrapolation \
--H_scale 2 \
--W_scale 2 \
--seamless
想要打算速率更快些,可以去掉 seamless 参数。
算法须要 rgb 图片和 mask 图片,这些数据是已知的,想要去除什么物体,给个物体的 mask 即可
Github源码地址:https://github.com/vt-vl-lab/FGVC