——宫崎骏《天空之城》
以往，「天空之城」只存在于动漫或者科幻大片之中；
现在，通过AI可以将现实视频中的天空背景，更换成类似科幻片中的场景啦！
该技能名为SkyAR，由密歇根大学博士后研究员Zhengxia Zou前不久在GitHub上发布。
GitHub：https://github.com/jiupinjia/SkyAR
此外，与以前的专注于静态照片或须要在智好手机中集成惯性丈量单元以拍摄视频的惯性丈量方法不同，这些视频是通过手持智好手机和行车记录仪在野外拍摄的，也便是说，这项技能对捕获设备没有任何哀求，可以很好地运用于在线或离线处理方案。
研究职员将此艺术创作过程分解为几个代理任务，包括天空遮罩，运动估计和图像领悟。
方法及事理
稠浊现实效果
利用单个NVIDIA Titan XP GPU卡，该方法可以在640 x 320的输出分辨率下达到实时处理速率（24 fps），在854 x 480时达到靠近实时的处理速率（15 fps）。以下是在户外视频上的几组稠浊结果（浮动城堡，火云，超级玉轮和银河之夜）。
景象/光芒转换
此外该方法还可以用于景象/照明光芒的转换，以是此方法的潜在运用是数据扩充。
样本有限的数据集与繁芜的现实天下之间的领域鸿沟给以数据驱动的打算机视觉方法带来了巨大寻衅。
例如，由于演习数据中的例子有限，因此在自动驾驶中的领域敏感视觉感知模型可能会在夜晚或下雨天碰着问题。
多云转晴天
晴天转阵雨
该方法在提高深度学习模型在各种打算机视觉任务（如检测，分割，跟踪等）中的泛化能力方面具有巨大潜力。
参考链接：
https://jiupinjia.github.io/skyar/