不少用户在利用过ZAO后,对神经网络产生了“技能恐怖”,担心ZAO会对自己的肖像权产生侵害,ZAO也由于各类缘故原由迅速下架,成为技能运用的“负面范例”。
但神经网络还有另一种用法,那便是对图像进行增强。
神经网络翻新老电影
最近,国外一个YouTuber发布了通过神经网络增强的1895年拍摄的记录片《火车进站》,整部电影只有45秒长度,由路易·卢米埃和奥古斯特·卢米埃拍摄于法国一沿海城市。
传说放映到火车驶向镜头的时候,大量不雅观众惊骇的从剧院跑出,展现了当时人们对新技能的好奇和恐怖。当然,这些往事都已经成为了都邑传说。
不过由“新技能”的神经网络对这部电影进行翻新,也有着深远的意义。
1895年拍摄的《火车进站》采取35mm格式胶片制作,由于当时的放映机由手摇进行驱动,我们可以粗略的认为其原始帧率在16帧到24帧之间。
由于当时的胶片技能尚未成熟,我们可以看到画面景物都是比较模糊的,火车在驶来的同时还带有明显的拖影。
但经由了神经网络的画面分辨率增强和插帧之后,这部老电影得到了4K ~ 60fps的画质。如果不是电影黑白的画面和胶片电影独占的画面抖动,画面流畅度和清晰度险些可以与现在的智好手机相媲美。
是什么让神经网络在图像增强和插帧上有着这样的效果呢?
我们知道,数字视频的清晰度一样平常由分辨率和帧率决定(暂且不考虑影响图像压缩质量的码率)。神经网络对视频的增强,也紧张集中在这两种参数上。
分辨率增强
首先我们来谈谈分辨率增强,想要将一张低分辨率的图片变成高分辨率的图片,我们就须要预测放大产生的未知像素。常日情形下,我们会采取某种插值算法进行打算,在图像边缘的模糊和锯齿间得到平衡,这种打算常日无法增加图像细节,纵然放大了图像,依旧显得很模糊。
waifu2x SRCNN算法与传统算法的比拟
神经网络在增强分辨率上就有着独到的上风,或许你之前曾经听说过一个软件waifu2x ,动漫爱好者们常常用它来放大动漫插图。当然,它同样可以用作照片放大。
waifu2x的核心方法便是通过机器学习,演习一个端到真个网络,利用低分辨率的图像作为输入得到对应的高分辨率结果图像,末了得到的结果在图像的锯齿与模糊程度有较好表现,其演习的事理类似于FCN模型。
不同算法在视频分辨率增加上的效果 图片来自:download.co.jp
在效果上,waifu2x的SRCNN(超分辨率卷积神经网络)要好于传统的双三次插值算法。
当然,waifu2x的算法仅能在静态图片上利用。不过方法都是相同的,madvr 中放大视频分辨率的ngu算法也是类似的事理。
视频插帧
对付视频插帧来说,神经网络也有自己的用武之地,之前英伟达发布了一个叫做Super SloMo的神经网络,能通过联合建模的运动阐明和遮挡推理合营光流算法天生中间帧。
这种技能能将原来30帧的视频放慢到240帧,并在个中添加画面的运动细节。
华为Mate 30 Pro的7680帧慢动作,也是通过神经网络对1080P/960fps 的视频插帧天生的。可见类似的神经网络插帧算法确实有很高的利用代价。
写在末了:技能是一把双刃剑
可以看到,神经网络对图像的处理(也便是常说的AI图像)并不是一个很恐怖技能,它是一把双刃剑,如果你用它来给视频换脸,陵犯他人肖像权,它便是不好的技能。
但如果我们能将其用在老电影翻新、手机超级慢动作、和实时视频增强,那它便是好技能。
或许那位翻新《火车进站》的YouTuber,也正是想用这部电影的传奇故事见告我们,“不要恐怖新技能的到来。”
责编:陶宗瑶