马里兰大学和Meta AI研究职员提出视频抠图新方法OmnimatteRF，同时利用2D前景图层和3D背景模型。
2D前景图层记录运动物体及影响，3D背景模型适用于繁芜几何和非旋转摄像运动，扩展适用视频种类。
在两个视频数据集上，与先前方法比较，该方法取得更好表现，无需每个视频单独参数调度。
站长之家（ChinaZ.com）9月20日 :Omnimatte是迄今为止最有前景的视频抠图方法。它利用单应性建模背景，因此只适用于背景为平面或仅有旋转运动的视频。D2NeRF通过独立建模场景的动态和静态身分，利用两个辐射场来办理这个问题。它在繁芜的大范围运动场景中表现强劲，不须要任何遮挡输入，完备自监督。但是如何领悟视频中的2D guidance尚不清楚。
项目地址:https://github.com/facebookresearch/OmnimatteRF
马里兰大学和Meta AI的最新研究提出一种集两者优点于一体的方法，利用3D背景模型与2D前景层。2D前景层表示难以用3D建模的物体、动作和效果。3D背景建模可以处理繁芜几何形状和非旋转摄像机运动，扩展适用的视频种类。该方法称为OmnimatteRF。在两个视频数据集上的实验表明，它在各种视频上都有出色表现，无需针对每个视频调参。
OmnimatteRF能够分离前景中的主体部分和背景场景。它利用二维层保留主体的细节，同时利用三维背景模型对繁芜场景进行重修。比较仅利用二维图像层表示视频背景的方法，三维建模极大地提升了对真实天下视频的适应能力。
该方法首先利用传统视频遮罩技能分离出动态的前景层。然后，利用这些遮罩结果和单目深度估计，演习一个表征背景的神经辐射场模型TensoRF。末了，将动态前景层和静态三维背景模型联合，重修繁芜的真实场景。
研究者在各种真实视频上进行了大量试验，结果证明比较仅利用二维层的方法，OmnimatteRF能够得到更优质的重修效果。该技能对视频制作专业职员具有主要运用代价，可用于拍摄的影片中添加有趣的效果。同时，它也可助力构建沉浸式的虚拟环境。