《舞蹈风暴》中的风暴时候-殊效
如果问你海内这两年最火的舞蹈综艺节目是什么，答案无疑是《舞蹈风暴》。
从第一期播出，豆瓣评分8.9分，口碑极高。海内综艺很少会有这么高的口碑，切实其实可以用两个词语来形容：惊艳和值得。这里面有一个殊效镜头——“风暴时候”。节目组在舞台周围增加了无缝衔接的360度视角镜头，舞者会预先选择自己的想要去定格的那个瞬间，在正式演出时，这个时候是没有彩排的，好便是好，失落误便是失落误。
第一次看到这个风暴时候的效果，就被彻底惊艳到了。从技能角度来讲，类似效果是一个技能问题。本日给大家阐发一下这一惊艳的艺术&技能效果，给大家分享几篇STOA的论文。
在打算机图形学和打算机视觉的交集中，新视图合成是一个长期存在的问题。该领域的首创性事情可以追溯到1990年代，早期的方法是在图像的相应像素之间或空间光芒之间进行插值。最近的深度学习方法极大地改进了却果的质量，并在该领域重新得到了遍及。
[1] Novel View Synthesis of Dynamic Scenes with Globally Coherent Depths from a Monocular Camera作者：Jae Shin Yoon1, Kihwan Kim2, Orazio Gallo
机构：1University of Minnesota ，2NVIDIA
项目：https://www-users.cs.umn.edu/~jsyoon/dynamic_synth/
本文提出了一种从给定任意角度和韶光的动态场景的图像中合成新视角的新方法。对付新颖的视图合成，一个关键寻衅来自场景重修。为了应对这一寻衅，我们建议将完全的单眼深度（DSV）和多视图立体（DMV）深度相结合，即，将深度分配给每个像素，但每个像素的视点都不同。DMV是视图不变的，但不完全。
作者认为只管它的规模和质量与其他视图不一致，但是可以从单个视图进行深度估计来推断动态内容的全局同等性。因此可以将此问题视为学习纠正DSV的比例，并通过视图之间局部同等的运动来细化每个深度以形成同等的深度估计。我们以自我监督的办法将这些任务集成到深度领悟网络中。给定领悟的深度图，我们可以利用深度稠浊网络在特定的位置和韶光合成逼真的虚拟视图，以完成场景并渲染虚拟视图。
算法框架图
视频加载中...
[2] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis作者：Ben Mildenhall，Pratul P. Srinivasan，Matthew Tancik
机构：UC Berkeley
项目：https://www.matthewtancik.com/nerf
这篇文章从场景表示的角度入手，引着迷经辐射场的观点。利用一些离散的场景照片优化底层的立体场景函数来天生繁芜场景的新视角图像。算法利用多层感知机表示场景，其输入是单个连续的5D坐标（空间位置（x，y，z）和查看方向（θ，φ）），其输出是在该空间位置的体积密度和与视图干系的辐射。
用MLP表示神经辐射场
算法第一步是通过采集沿相机光芒方向的5D坐标，并通过多层感知机将其转换成RGB颜色和空间立体密度；随后利用经典的立体渲染技能将输出的颜色和密度投影到图像中，如下图所示。
算法整体框架
[3] NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections作者：Ricardo Martin-Brualla, Noha Radwan,
机构：Google Brain
项目：https://nerf-w.github.io/
本文可以看做是NeRF的扩展。虽然NeRF可以很好地处理在受控设置下捕获的静态工具的图像，但它无法在不受掌握的图像中建模许多普遍存在的真实征象，例如可变照明或瞬态遮挡物。在这项事情中，我们引入了对NeRF的一系列扩展来办理这些问题，从而可以对从互联网获取的非构造化图像凑集进行准确的重修。