潮起浪涌，拍击礁石。
你以为这是慢动作录制的自然片段？
非也。
只要一张静态风景照，几分钟之内，AI就能还原出是日然界的壮阔动态。
延时拍照，慢动作效果，一图即可复现。
画质是清晰的1080p，入门门槛却不高，仅需一个GPU和几百兆字节的预演习数据。
记录片缺素材，后期制作太麻烦？有了这只AI就不怕了。
这项来自日本筑波大学的研究，登上打算机图形学顶会SIGGRARH Asia，预演习模型和代码均已开源（地址见文末）。
还原自然的云卷云舒这只AI，专注于自然界云与水的律动。
△输出
△输入
天上云卷云舒，水面云的倒影也会随之移动。
不仅有空间移动，晨光暮色，亦能动态呈现。
△4倍速
像不像记录片里的片段？
不仅如此，天空云涌，水面潮起，在这场AI的魔术演出中，就像在自然界中一样两不相误。
与前辈作品比较，这样的表现完备是大师级别。
△上排为前辈作品，下排为新方法
难怪网友惊叹：这太美了！
事理
这一邪术的实现，须要以下干系的事情：光流预测、风格迁移、视频预测等。
光流是一种描述图像中各像素运动速率和方向的方法，根据物体相邻两帧的差异可以打算出图像的光流，同样也可以根据光流推测是视频下一秒可能的样子。
风格迁移通过感知丢失的反向传播来优化输出图像，在保留源内容的条件下，改变图像的风格，而本文中，风格迁移的紧张浸染是对图像中变革部分的颜色进行变动。
去年有人提出了通过风格迁移方法实现图像的昼夜交替、四季更迭的转换。而输出视频的难度在于要实现这种变换的平滑性。
下图展示了视频合成的全体流程：给定输入图像和掌握未来变革的潜在代码，运动预测器会天生将来的向后光流（backward flows）。
这些流使输入图像变形，合成添加了运动的图像，然后将它们转换为运动循环。
但是，仅仅让图片动起来还不足，由于延时拍照的特点是韶光长，在这段韶光里，天色还会变暗。
因此还要对整张图片的色调进行变动，不是大略的调个色，而是要让视频画面的颜色随着韶光推进平滑地过渡。
这便是外不雅观预测器卖力的事情，它能够变动运动预测器天生图片的颜色，从而得到输出视频。
在一样平常的循环推理中，缺点会在循环的输出帧中累积。而在这篇论文的运动预测中，这些光流在空间上是平滑的，因此对缺点的敏感度较低。
此外，算法通过回溯到输入图像来重构每个预测帧，避免由于重复的颜色采样而导致RGB值的缺点累积。
运动预测器演习运动预测器的方法非常直接，终极目标便是让模型预测的光流场与真实光流场之间的差异最小化。
至于推理过程，首先从单个输入图像天生加入的运动帧，通过线性稠浊（linear blending）使其循环，然后对每个帧进行颜色转换。
在这个过程中反复利用预测帧作为下一个运动预测的输入帧，重复此过程得到多个帧。
但是自监督的环境中预测光流场是有寻衅性的，由于这实质上是要找到两个具有较大自由度的连续帧之间的对应关系，这很随意马虎陷入局部最优值中，从而产生不一致的流场。
为此，作者在预测和演习阶段都限定了输出光流场的范围，以一个常数除预测的光流场，限定它们的幅度范围。事实也证明了这种方法的有效性。
外不雅观预测器
由于外不雅观预测器是利用输入图像和每个演习视频中两帧之间任意帧来演习的，因此须要一个潜在代码来掌握每个帧的外不雅观。
终极，颜色迁移图通过输入图像和掌握的潜在编码来共同打算完成。这种方法避免了反复直接从输入图像预测导致随韶光变革的色彩。
日本团队
论文的第一作者，这天本筑波大学打算机几何与图形实验室（CGG）的副教授远藤裕纪（Yuki Endo）。
其余两位互助者，分别是同实验室的金森佳宏（Yoshihiro Kanamori）副教授，和丰桥技能科技大学的栗山繁（ Kuriyama Shigeru）教授。
传送门
PyTorch代码：https://github.com/endo-yuki-t/Animating-Landscape
项目地址：http://www.cgg.cs.tsukuba.ac.jp/~endo/projects/AnimatingLandscape/
论文地址：https://arxiv.org/abs/1910.07192
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一韶光获知前沿科技动态