如果站在整车的视角,激光雷达的运用不仅局限于智驾,还能用于主动安全、智能底盘,乃至可能在未来四处着花,发展出更加花里胡哨的玩法,对整车而言,激光雷达是不可能被消灭的。
因此,不要顾旁边而言他,也别站在整车的角度谈激光雷达,对着问题的根本直捣黄龙,问题的关键或者说关键的问题是:纯挚看智驾,摄像头能不能消灭激光雷达?
两年前,关于这个问题还没有太多的辩论。
在暗光、炫光、逆光的光照条件下,摄像头感知能力明显不及激光雷达,即便不考虑光照,摄像头拍摄到的是二维图像,当时的视觉神经网络很难在二维图像中得到比较细致的3D信息,这就使得纯视觉智驾方案可以运行在车辆间隔比较大、障碍物种类有限的高速场景,很难用于车辆密集、障碍物种类浩瀚的城区场景。
随后,特斯拉在2022年CVPR会议上公开占用网络,并在同年的AI DAY上给出了占用网络的模型架构,业界一片欢腾:终于有希望拿掉本钱高昂的激光雷达了,要知道,2022年,单颗高线数激光雷达的价格依然高达上万!
占用网络办理了实质上仍旧是2D信息的BEV网络的两大问题。
第一,它将3D空间划分成一个又一个体素网格,为每个网络分配一个特色向量,通过对每个体素进行三维语义霸占预测,给出车周环境风雅的3D信息。
第二,由于其对物体形状、背景环境、非常障碍等都能进行可靠的表示和识别,从而可以有效地处理演习数据集中未曾涌现过的物体。
以是,视觉占用网络涌现之后,激光雷达的浸染的确是大大低落了。
02宜将剩勇追穷寇,不可沽逻辑学霸王。
在良好光照条件下,视觉占用网络的两种精良特性给了激光雷达重重的打击,ISP的进化又进一步削弱了激光雷达在暗光、炫光和逆光场景下的上风。
插一句题外话,在雨雪雾景象条件下,激光雷达的事情特性只管比摄像头好一些,但跟毫米波雷达比较,摄像头和激光雷达大哥不说二哥,事情特性都比较差,那些认为激光雷达能抗恶劣景象的说法实在是不对的。
摄像头既然可以通过视觉神经网络算法的进步提高三维建模能力,当然也可以通过其他技能的进步提高抗暗光和抗强光的能力,ISP便是这样的技能之一。
目前,ISP算法的进步已经可以比较好地支撑摄像头在暗光和逆光下的表现。
提及来,事理倒也不繁芜。在一样平常的暗光条件下,通过自动增益掌握技能,根据环境光芒自动调度图像亮度和比拟度,拉高特殊暗的区域的像素值,就可以显露暗光区域丢失的画面细节。
强光条件下,场景中不同区域亮度的差异大,采取高动态范围技能,抑制强光部分的过分曝光,就可以同时兼顾亮部和暗部的细节,做到亮处不过曝、暗处细节不丢失。
提及摄像头的这种超能力,有一个有趣的比拟。
有种说法认为,人眼大概相称于3-6亿像素的相机,目前800万像素的车载摄像头永久无法和人类比较。
但是,有了AI ISP技能,摄像头可以自动调节不同区域图像的比拟度和曝光强度,这显然是AI技能加持的摄像头能碾压人眼的地方。
不要以为不可思议,这一轮AI技能大爆发以来,大模型已经在很多层面上超越了人类的能力,AI ISP技能只不过是AI技能在图像处理领域的又一次秀肌肉而已。
做人不能刻舟求剑,去世守着老理儿,尤其在技能快速发展的年代,更得时候保持刷新自己认知的能力。
03长江后浪推前浪,后浪把前浪拍倒在沙滩上。
AI技能的进步催生了视觉专用网络,增强了摄像头在暗光、炫光下的事情能力,但这并不虞味着激光雷达从此没有了代价。
缘故原由有二,第一,视觉占用网络的源头来自激光雷达,第二,摄像头在暗光、炫光下依然比不上激光雷达。
万事万物都有缘起,药匣子说不想知道自己是怎么来的,只想知道自己到底是怎么没的,但我们要知道的正好是:视觉占用网络到底是怎么来的?
这几年,网上常常涌现搭载激光雷达的特斯拉车型的照片,按马斯克一条路走到黑的性情,这当然不虞味着特斯拉下一代车型要加装激光雷达,这只不过解释,它的视觉占用网络须要激光雷达供应真值做演习。
详细的做法是,将高质量、高线数的激光雷达搭载在特斯拉的车型上,在路侧中网络数据,在自动化数据生产线中做数据标注,通过激光雷达点云包含的间隔几何信息在摄像头图像中标注出精确的3D信息,将精标后的数据投喂给视觉神经网络做演习。
如此乾坤大挪移,视觉神经网络就学到了激光雷达获取3D信息的能力。
很显然,视觉占用网络模拟学习的是激光雷达的能力,和真值供应者当然会存在一定的差距。
再说到光照条件,激光雷达通过光芒的翱翔和反射丈量物体间隔,这种事情特性和光芒亮暗一点关系都没有。
摄像头就不一样了,ISP技能处理强光比较随意马虎,但在真正的暗光条件下,其事情能力比较差。
巧妇难为无米之炊,没有足够的光芒反射到摄像头的感光单元上,AI ISP技能也无法“无中生有”。
在光芒真的很弱的情形下,上帝说没有光也就没有了光,它儿子耶稣来了也没用,我说的。
看这张图,摄像头的抗暗光能力远逊色于抗强光能力,其道理就来自于这里。
随着算法的进步和更多数量的演习,视觉占用网络可以越来越准确地估计3D信息,但是,激光雷达可以供应真实而非估计的几何3D信息。
在暗光条件下,激光雷达雷达具有更强的事情能力。基于这两种能力,纯挚看智驾,摄像头也依然无法消灭激光雷达。
严谨一点的话,可以再加一个定语,摄像头无法消灭高阶智驾中的激光雷达。