目前手机实现浅景深效果的方法依旧是利用抠像算法,将拍摄对焦主体独立出来,再将其他区域进行虚化仿照处理,得到一张类似光学浅景深效果的照片。因此这里最为关键的技能便是抠像,在人像拍摄场景,最难「抠」的,便是头发区域,由于险些没有规律且发丝极细,很多手机的算法都会在此区域露馅。针对这些场景,一向以算法见长的Google在近日发布了一套针对自家Pixel 6系列手机的办理方案。
根据Google AI Blog先容,这套新的人像模式办理方案利用的是Alpha Matting技能,该技能此前多用于电影制作领域,用于精确的抠像以及背景更换。Google将RGB原照片以及Alpha遮罩低分辨率抠像输着迷经网络,利用MobileNetV3预测更高分辨率、更加精确的遮罩,从而帮助主体从背景分离。
从博客公布的效果比拟图来看,这套算法的抠像提升还是吹糠见米的。样本模特的发型对付目前任意手机来说都是「地狱级」难度,Google能够将卷发的边缘发丝风雅地勾勒出来,这样的效果在此之前确实从未见过。通过局部放大的比拟图可以看到,由于抠图更加风雅,因此发丝边缘的景深过度也相称精准,做到险些以假乱真的效果。
此外,为了使抠像主体的光芒与背景相匹配,Google还利用了一种球形的装置进行样本采集,该装置配备331个自定义彩色LED灯,一系列高分辨率摄像头和一组自定义高分辨率深度传感器。利用多种角度的打光以及摄像头的拍摄来仿照不同光芒下,人像应该有若何的光芒效果。
针对这项改进,Google也做了演示。演示中,Google将输入的图像经由一系列的处理,并重新合成到新背景中,整体脸部的光照条件与背景也是较为符合的,相对付原图,其光芒在背景中并不会显得特殊的突兀。
值得一提的是,今年的Pixel 6手机是Google有史以来相机硬件最为强大的一代,在此之前,Google一贯沿用相称老旧的CMOS进行算法优化,其实际的成像效果虽然依旧出色,但仍旧难以比肩最新的顶级拍照旗舰。大概也是意识到了硬件上的鸿沟难以跨域,Google在Pixel 6上利用了大底主摄,以求提升整体的拍摄能力。但实际的市场反馈彷佛并没有能够与外界的期待相匹配,这彷佛又是打算拍照主要性的一个有力佐证。
手机的硬件虽然主要,但在自动模式下,算法仍旧是用户能够得到的优质拍摄效果的最有力的依赖。此前有称Google手机打算拍照团队有关键成员离职,而这套全新的人像算法显然给了Google手机用户一个信心,不过目前我们网络到的内容也仅有Google官方的测试,详细的效果仍旧须要等Pixel 6系列实装之后,经由外界测试来进行评判好与坏。