△ 图片来自The Verge

你以为这张照片是在一天之内的什么时候拍的呢?

阴天的傍晚?

乌云蔽日的白天?

似乎日间谷歌宣告最强夜景摄影AI算法单摄秒杀苹果华为三星

看看下面这张“原图”,你就知道了。

△ 图片来自The Verge

是的,这张照片拍摄于夜晚,用普通模式拍照只能拍出勉强看到的羽觞和水果,在谷歌的夜视模式下,就能像白天一样,所有物品细节一目了然。

类似的例子还有很多:

△ 图片来自The Verge

△ 图片来自The Verge

纵然是前置摄像头,也可以拍出不错的效果

△ 图片来自The Verge

每张样片中,天空的颜色多会由玄色转为阴郁的蓝色,可以说照片效果和白天险些完备一样,比人眼看到的夜晚更为通亮多彩。

这是由于在非常阴暗的环境下,人类视网膜的视锥细胞停滞事情,无法区分不同波长的光,因而只能看到灰暗的场景。

但这并不虞味着夜晚只是漆黑一片,谷歌夜视功能一样能看到这些人眼看不到的色彩,也就把夜晚拍的像白天一样通亮。

光荣&清晰度满分

如果你看到这些把夜晚拍成白天的照片,就以为夜视只是一个“昼夜转换器”,那可大错特错了。

在照片的光荣和清晰度上,谷歌的夜视功能一样敌得过其他旗舰手机。

我们来看看打开夜视功能的谷歌Pixel 3和苹果的iPhone XS Max、华为Mate20,三星Galaxy Note 9拍摄同样景致的比拟吧。

谷歌夜视PK iPhone XS Max

第一关,我们先让打开夜视功能的谷歌Pixel 3来和iPhone XS Max对决一下,拍摄晚上送来的披萨外卖。

额……明暗度完备不一样,Pixel 3拍出来光荣鲜亮,披萨上的肉粒清晰,令人食欲大开。

iPhone XS Max拍的披萨过于阴暗了,虽然也可以看到披萨上的肉粒,但受限于阴暗的效果,让人实在没有吃披萨的想法。

比较之下,如此惨状,苹果可以洗洗睡了。

谷歌夜视PK华为Mate 20 Pro

接下来,我们来PK华为Mate 20 Pro。

我们分别用打开夜视功能的Pixel 3和华为Mate 20 Pro来拍摄城市景象。

Pixel 3虽然看起来有点过度锐化,天空处理的并不如Mate 20 Pro柔和,但近处的的光芒处理还是更好一些,路灯照亮的部分看起来更亮一些。

谷歌夜视PK三星Galaxy Note 9

接下来的比拟工具是三星Galaxy Note 9,我们来拍摄酒吧的画面。

整体看起来差不太多,Galaxy Note 9在暗光下总是无法避免画面偏黄的问题,不过开了夜视功能的Pixel 3就不一样了。

不过,放大看细节,你就会创造Pixel 3拍摄的细节更清晰,酒吧右上角墙上的那个孕妇不要独自饮酒的告示牌上有几行小字,Pixel 3拍摄的照片上,这几行小字清清楚楚,但Note 9嘛,就模糊了很多。

总结来看,打开夜视功能的谷歌Pixel 3已经稳赢iPhone XS Max,小胜三星Galaxy Note 9,和华为Mate 20 Pro各有利害。

重点是,Pixel 3可是只有一个摄像头啊,其余的三家不是双摄便是三摄,硬件堆的满满。

看来,在拍夜景这件事上,几个摄像头不是最主要的,还得看算法能力。

谷歌的技能储备

实在,谷歌早在2010年就开始研究手机图像的优化算法。
在Pixel一代手机问世后,谷歌的拍照“黑科技”一发不可整顿。

都8102年了,谷歌居然还在利用着单摄像头,价格却不输iPhone,这是为什么?当然是对强大算法的自傲。

即便是上一代的旗舰机Pixel 2,如今DxO Mark排名也稳居前十:

2014年,谷歌曾推出HDR+技能:通过捕获多帧照片,在软件中并将它们对齐并且合并在一起,拍摄画面明暗反差巨大的图片。

上个月,谷歌又针对Pixel 3手机推出了Super Res Zoom:通过叠加多帧得到超采样照片,可以降落噪点,还能让图像更清晰锐利。

现在谷歌要办理夜景问题当然也不在话下。

夜间成像的难点

低光照条件下,相机面临两种噪点问题:由入射光芒涨落导致的散粒噪点,和传感器转换电旗子暗记产生的读取噪点。
这在镜头和传感器尺寸较小的手机上更为严重。

办理噪点问题有两种方法:合成多张短曝光照片、延长单张照片的曝光韶光。

之条件到的HDR+合并多张图片,其紧张目的是改进动态范围,用于办理拍照画面中明暗反差巨大的问题。

事实证明,HDR+还可以降落散粒噪点和读取噪点的影响,因此可以改进阴暗光芒下的信噪比。

其余,延长曝光韶光也是一种办理方案,但它存在两个问题:

首先,Pixel手机上的默认拍照模式利用的是零延时快门:当用户打开相机运用程序,手机就会开始拍摄图像帧并将其存储在缓冲区中,当按下快门时,相机会将最近的9帧或15帧发送到HDR+或Super Res Zoom进行处理。

由于须要在屏幕上实时显示图像以帮助拍照,因此无论场景多么暗淡,HDR+都会将曝光限定在最多66毫秒,从而使取景器能够保持至少每秒15帧的刷新率。

其次,永劫光曝光会导致运动模糊,这是由于手抖或场景中物体的移动造成的。
光学防抖(OIS)可以延长手持相机的曝光韶光(最多约1/8秒),但对付永劫光曝光或移动物体无效。

探求最佳曝光韶光

为了对抗光学防抖无法修复的运动模糊,Pixel 3的默认拍照模式利用“运动丈量”,个中包括利用光流法(optical flow)丈量最近的场景运动,并选择最小化模糊的曝光韶光。

如果没有太大的运动,每帧曝光韶光将增加到333毫秒。
如果相机处于稳定状态,比如靠墙或利用三脚架,则每帧的曝光增加到一秒钟。

除了改变每帧的曝光韶光外,谷歌还会改变拍摄的帧数,如果手机放在三脚架上则选取6帧,如果是手持拍摄则最多为15帧。

以下是检测得手持拍摄时的照片:

左图为相机捕获的15帧视频,中图为运动丈量关闭时拍摄的图像,右图为开启运动丈量拍摄的照片。
由于曝光韶光更短,以是右图看起来更清晰。

以下是检测到三脚架拍摄时的照片:

左图为手持拍摄,333毫秒曝光×15帧=5秒;右图为三脚架拍摄,1秒曝光×6帧=6秒。
可以看出右边图像更清晰,而且能看到更多星星。

末了,谷歌手机会通过HDR+(Pixel一代和二代)或Super Res Zoom(Pixel三代),经由修正和重新调度,将多帧图像合成起来。

夜间白平衡与色彩

除了成像时的噪点和模糊问题,谷歌还面临两大寻衅:

低光照条件下白平衡不准

为理解决这些问题,谷歌开拓了一种基于学习的自动白平衡(AWB)算法,该算法经由演习以区分白平衡准确或偏移的图像。

当捕获的图像白平衡不准时,算法可以建议如何改变颜色,使照明看起来更中性。

演习此算法须要利用Pixel手机拍摄各种场景,然后在彩色校准显示器上查看照片时手动校正其白平衡。

△【算法改动暗光下的白平衡】

光芒太暗无法得到准确色调

谷歌在夜视中借鉴了一些画师的技巧,通过S曲线增大夜间图像的比拟度。
下图展示了采取该方法的效果:

△【夜间成像的色彩】

正是由于这些技能,谷歌才敢大胆在旗舰手机上利用单摄像头。
不知道还在堆砌4摄的手机厂商感想熏染如何?

— 完 —

活动策划招聘

量子位正在招聘活动策划,将卖力不同领域维度的线上线下干系活动策划、实行。
欢迎聪明靠谱的小伙伴加入,并希望你能有一些活动策划或运营的干系履历。
干系细节,请在量子位"大众年夜众号(QbitAI)对话界面,回答“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技能和产品新动态