延续雷锋网大会一向的高水准、高人气，「环球AI芯片·城市智能峰会」以“城市视觉打算再进化”为主题，全面聚焦城市视觉与城市算力领域，是业内首个环绕“算法+算力”展开的大型智能城市论坛。
峰会约请到了极具代表性的14位业内有名专家，天下顶尖人工智能科学家、芯片创业大牛、家当巨子首席技能高管、明星投资人齐聚，为行业资深从业者们分享前瞻的技能研究与商业模式方法论。
个中，苏州科达首席科学家、前博通图像奇迹部资深科学家章勇作为下午场的第五位演讲高朋登台，环绕《AI超微光技能与边缘算力选择》这一主题揭橥了精彩演讲。
章勇表示，目前深度学习技能紧张运用于模式匹配和图像识别，例如人脸识别、车辆特色提取、视频构造化等。而科达则将这种深度学习技能运用到前端传感器图像增强处理技能领域，直接对前端图像传感器输出的裸数据进行图像规复，最大化还原低照度环境下的实际图像效果。
这种处理技能的好处是，它打破了传统摄像机中ISP技能的局限性。目前ISP由数十个图像处理模块组成，数百个参数须要人工根据履历进行调度，不仅费时费力，而且由于传统算法的局限性，难以在低照高噪声的情形下显示出图像中有用的信息。而AI超微光技能对传感器数据直接进行处理，利用神经网络完成输入图像到输出图像端到真个非线性映射。不仅如此，相对付增强补光，以及多目多光谱设计的硬件办理方案，独创的深度学习图像增强算法，可在大幅减少卡口对补光灯的依赖的条件下，提升图像亮度，且充分还原物体颜色与纹理等细节信息。
另一方面，这项技能也对边缘侧芯片的算力提出了巨大寻衅。面对市场上琳琅满目的芯片，科达结合超微光技能的场景特点，提出了六项边缘算力芯片的筛选标准————模型运行评分、工具链有效性、灵巧性、本钱、非AI功能、TOPS/W。
依托于精简优化的算法和所选择的边缘算力，苏州科达创新性地完成了AI超微光在边缘侧的实现任务，已经形成了产品系列并申请了多项专利。
以下是章勇的全部演讲内容，雷锋网做了不改变原意的整理与编辑：
很荣幸有机会跟大家分享我们的新技能——AI超微光技能。
我本日的演讲要从摩尔定律开始讲起。摩尔定律说的是，集成电路上可容纳的元器件数目每隔18-24个月就会增加一倍。实在AI界也有一个摩尔定律，是由IBM和UIUC的两位学者提出的，说的是Xiv.org上的人工智能干系论文数量每隔18-24个月会增加一倍。今年6月份我去美国参加CVPR，在会场看到了CVPR论文的统计，创造它确实符合这个规律，2019的CVPR论文数呈现了倍增的趋势。
最近我们时常听到一些关于AI的悲观论调，认为现在的AI是伪AI。但从学术界的趋势来看，我们有情由坚信AI将在不远的将来迎来持续爆发。
在人工智能落地的诸多领域中，视频监控无疑是最成功的。视频监控的发展经历了四个阶段，从2005年以前的仿照视频监控时期，经由网络数字监控时期和高清数字监控时期，终极在2015年步入了人工智能的新纪元。
过去五六年，苏州科达每次参加安博会的主题都和AI紧密干系，今年我们的主题是“AI实战派”。这也从侧面解释AI已经在视频监控领域生根萌芽了。
那么，AI可以为视频监控做些什么呢？概括来说，它可以用前辈的深度学习算法——比如检测、分类、回归、跟踪算法，衍生出对应的视频监控运用，比如职员属性、车辆属性、视频构造化等。职员属性包括人脸识别、人像检测、年事识别、性别识别等；车辆属性包括司乘人脸、车窗检测、挂件检测等等；视频构造化则可以把人、车、道路的关系用语义的办法描述出来。
刚才说到的这些运用，基本都属于图像理解和图像剖析的范畴，是打算机视觉里的高层视觉和中层视觉任务，其紧张目的是对图像进行剖析，提取里面的语义。比较之下，低层视觉任务过去在视频监控领域的运用并不多。这次安博会，苏州科达带来的紧张技能打破——AI超微光技能，实质上便是一项用AI加持的低层图像处理技能。详细来说，它是一项基于深度学习算法，在边缘侧实现低照度图像增强的技能。
为什么我们把低照微光作为AI的紧张运用处景呢？由于低照微光是视频监控领域的一大痛点。摄像机的成像事理与人眼类似。人眼成像要先有光源照射在目标物体上，光芒被反射进入人眼视网膜成像。监控摄像机也是同样的道理，反射光进入镜头后由图像传感器进行光电转化，经由ISP处理，终极将图像展现在我们面前。不难创造，照度是成像的关键。我们常说伸手不见五指，太黑了人眼看不清，实在太黑了摄像头也拍不出来。
视频监控有一个特点，光天化日之下发生违法犯罪事宜的概率非常小，大部分有用的视频监控信息都是在光芒不好的韶光段采集的。因此低照成像技能的运用处景非常广泛，包括安然城市、雪亮工程、酒店、住宅小区等等。险些所有视频监控摄像机都会注明它的低照度指标，这解释低照度是视频监控摄像机的基本特性。
摄像机成像的过程中有许多噪声跬步不离，包括热噪声、电流噪声、空间噪声等等。如果图像旗子暗记很弱，噪声很强——也便是信噪比很低，图像就会完备淹没在噪声里。比如下面这页ppt中的图片，左边的图片还能看清是一个小伙子，右边的图片就完备看不清了，毫无代价。以是监控的重点不是拍到而是拍清，要给人家有用的信息，能剖析出里面的详细内容。
那么，我们怎来办理低照监控的问题呢？最大略的办法，既然光芒不敷，那我强化补光便是了。但这样一来也造成了很严重的光污染，对此相信大家都深有体会，比如晚上开车回家的时候被爆闪灯晃得睁不开眼。除了用户体验差，这种做法也很摧残浪费蹂躏资源，会增加系统的开销，由于每个摄像机阁下都要装一个灯，非常恐怖。
第二种做法是堆叠摄像机硬件。几年前有一个技能特殊热门，叫做超星光技能，它的做法是采取超大光圈和高灵敏度的传感器。这项技能的毛病在于，超大光圈会影响拍摄的景深。在拍照领域，超大光圈可以产生一些分外的艺术效果，但对视频监控来说它却是负面效果。此外，高灵敏度传感器原来是用在军事领域的，将它迁移过来无疑会大幅推高设备的本钱。
这个做法下还有一个分支，叫做黑光技能，是前两年大家非常追捧的新技能。它采取的是多目领悟的技能，通过两个镜头分光，或者一个镜头里有两个传感器，对可见光和红外光进行多光谱领悟。这也带来了三点问题：一是本钱增加；二是两条光路领悟，一定会导致分辨率低落；三是它无法拍摄红外反光比较强烈的物体，也无法穿透红外透光率低的玻璃。末了一点问题非常严重，由于现在绝大多数人为了隔热都会在车窗上贴膜，它的浸染实际上便是防红外穿透。
第三种做法是通过繁芜的ISP提高图像质量。传统方法是提高ISP数字增益，提高图像亮度，但数字增益不区分图像旗子暗记和噪声，把噪声也加大了，以是基本没什么用。还有一种方法是放慢快门速率，但这样一来就没办法捕捉高速运动的物体了，而现实中我们须要捕捉的又每每是高速运动的车辆和人，以是这个方法也行不通。还有便是各种各样的降噪算法，比如空间和时域的降噪。这些算法本身挺好，但碰着低照的情形，由于信噪比太低，它在过滤噪声的同时也会把图像旗子暗记过滤掉，结果便是图像非常模糊。
正是由于存在这样或那样的痛点，我们开始思考能不能把AI用到低照监控当中来。
摄像机ISP是一个从输入图像到输出图像的非线性映射，我把它描述成f(x)，也便是一个二维的函数。我们知道，深度学习网络对非线性函数有很好的逼近能力：首先，它的网络非常深非常繁芜；其次它的每个神经元里都有多少个加权函数，同时精密函数也是非线性的。以是我们采取了这样一个方法，即对低照度场景进行有监督的深度学习演习，让神经网络在传感器输出的数据中自动探求并增强图像中的有用信息。这个想法非常好，我们考试测验后也创造，它在算法仿照上是可以成功的。
全体处理流程大致是这样的：前面输入的过程不变，光芒经由普通的镜头和传感器完成光电转换后，用深度神经网络代替原来的ISP，把bayer图像输入到这个深度神经网络后，输入的便是人眼想看到的ISP图像。这种做法还带来了一个附加的好处，由于现在ISP已经进入了完备不可知的领域，它里面有数百个模块，每个模块又有非常多的参数要调度，完备是ISP工程师靠履历堆叠起来的，以是ISP工程师非常值钱，而我们的方案可以省略对ISP参数的调度。
这个想法虽然很好，但在边缘端实现起来还是会对算力提出非常大的寻衅。一样平常的图像剖析和理解任务，首先要对图像进行裁剪和缩小，缩小到24×24或者300×300像素。也便是说输着迷经网络的都是经由大幅度缩小的图片，输出的则是提取出来经由编码的特色。
在AI超微光任务中，须要对逐个像素进行操作，而且图片常日是1080P、4K乃至1200W像素的，同时我们还要对每个颜色通道进行处理，输出的数据是输入的三倍。因此，AI超微光任务对算力和存储都提出了非常高的哀求。此外，这个过程是在边缘端实现的，还面临着本钱和功耗上的限定，以是选择一颗得当的边缘侧算力芯片至关主要。
面对市场上琳琅满目的芯片，我们不禁陷入了困惑，到底该怎么选择呢？有几个参考指标：
第一个指标是TOPS。从2015年开始，边缘侧芯片的TOPS有了突飞年夜进的发展，今年已经看到有16T-20T算力的边缘侧芯片出来了。但是大家并没有明确解释TOPS是怎么打算出来的，大部分企业的打算方法都是“乘加器个数 x 事情频率 x 2”。这个算法太大略粗暴了，短缺对能耗的评价。如果这么打算，岂不是把两个芯片大略叠加在一起，算力就翻倍了？
第二个指标是TOPS/W。下面这页ppt中是MIT一位学者统计出来的图表，横轴代表功耗，纵轴代表TOPS值。AI超微光的任务对付芯片有几个哀求：首先它的位宽必须大于或即是8bit，由于我们要处理的是图像；其次，它的功耗要小于10W，由于须要支配在边缘侧；末了，TOPS/W值要大于一。上个星期我在美国参加Facebook的研讨会，他们也在做干系的事情，他们追求的是TOPS/W值大于或即是5。
TOPS/W显然也不是一个特殊完美的指标，由于里面还涉及到利用率的问题。下面这页ppt列出了一些常用深度神经网络须要的算力值，我们可以看到，基本都在几十G旁边。那么为什么我们却动辄须要几个T的算力呢？缘故原由前面的高朋先容过，由于神经网络非常繁芜，而不管基于SIMD/SIMT架构还是数据流架构的芯片，采取的都是非常规整的体系架构，这种架构里的映射显然有很多水分。因此，我们要看OPS的利用率，而不是峰值的OPS。
第三个指标是存储带宽。提到存储带宽就要用到屋檐模型（Roofline模型）。我们吧存储带宽的值用下面这页ppt中的公式来表示。公式下面这张图片很故意义，蓝线右边是打算受限，蓝线左边是访存受限，如果我们想避免访存受限，就要不断抬升屋檐。
右边的图片中有三个芯片，绿色的是访存受限，中间赤色的轻微好一些，但仍旧没有完备超过到打算受限，最上面黄色的则完备进入到了打算受限，可以达到理论上的OPS峰值。通过Roofline模型，可以确定一个打算量与访存量确定的算法模型，在一个算力和带宽已知的打算平台上，所能达到的理论性能上限。
其余一种办法是在实际硬件上或是硬件仿真器上运行各种常见的AI模型，进行评估，这是目前各大公司正在采取的方法之一。这样的评估工具有很多，比如MLPerf，有facebook等好几家公司背书。中国人工智能家当发展同盟也发布了一个Benchmarking的工具。AI MATRIX是阿里巴巴内部开源的工具，ML Mark则是专门给嵌入式系统做的工具。目前海内用的比较多的是AI-Benchmark，它里面席卷了11个任务，包括图像分类、图像检测、游戏动画、图像去波谷等。我们可以在上面跑各种AI模型然后打分。
这里举两个例子，一个是斯坦福的DAWNBench（右侧上图），一个是ML Perf（右侧下图），里面展示了所用的模型、对应的硬件，以及利用了哪一种算法框架。
其余，我们还要考虑算力工具链的性能和易用性。要看工具链能否对接各种不同的AI算法框架（Caffe，TF，pytorch等等），并转化各种框架模型；以及它是否具备性能仿真器，能否给予算法职员准确的调试反馈，能否进行良好的网络量化优化。
还有算力的灵巧性：一是算力能否应对非常规的网络，二是算力能否扩展支持的层种类，三是算力能否兼容将来可能涌现的新网络。由于网络的变革非常快，算法职员常常能想出许多新奇的点子，这些点子在软件仿真的时候非常好用，但一跑到真正的芯片上就会涌现各种各样的问题。
末了是边缘算力芯片中集成的非AI功能。紧张关注几个点：一、它是否具有运用场置器核（AP）- SoC芯片；二、它是否包含其它非深度学习的图像处理模块；三、它是否包含视频处理与编解码模块；四、它
是否有丰富的嵌入式接口用于数据传输和掌握，比如PCIE，USB，MIPI ，Ethernet，SPI …由于我们是用在边缘侧的。
总的来说，我们针对边缘算力的选择提出了六项指标——模型运行评分、工具链有效性、灵巧性、本钱、非AI功能、TOPS/W。末了看哪款芯片的指标参数在雷达图中覆盖的面历年夜，就用它来完成AI超微光的任务。
当然，我们也花了几个月的韶光对网络进行了精简和优化，同时对嵌入式的编程进行了细致入微的优化。我们提交了有关增强算法以及边缘侧实现的数项专利。
末了给大家展示一下AI超微光的效果。
大家看下面这页ppt，左边图片中的灯光参数非常亮，右边则换成了比较弱的补光，两张图片都是在卡口场景。但是我们看拍出来的图片，左边图片是看不见车里的人的，由于有防透膜，右边则可以清楚地看到人脸并进行人脸识别。
下面这页ppt是夜景，左图的灯非常亮，右图的灯实际比路灯还暗。我们可以看一下夜间抓拍的效果，左图中的行人基本已经看不见了，而右图中的行人经由超微光技能增强后清晰可见。因此超微光技能在夜间的运用有着非常主要的代价。
末了来看看职员卡口场景。下面ppt中左边这一组是传统职员卡口和超微光技能的比拟。小区如果有非常亮的补光灯，是一件令人头疼的事情。我们可以看到，传统职员卡口的卡噪点多、图像暗，基本看不清楚，右边用了超微光技能后就清晰多了。
右边这一组是黑光技能与超微光技能的比拟，两张图的明暗程度完备不一样。右边用了超微光技能，不须要很强的补光就可以把人脸规复的非常清晰。
我的分享就到这里，希望大家有韶光到我们展台来看看AI超微光这款新品。 感激大家！
问答环节：
主持人：您刚才讲到超清光、超微光和黑光技能，根据我个人的理解，这些更多是依赖硬件手段来实现的。之前何恺明在CVPR提出的暗通道先验算法紧张是通过纯软件来去噪、增强图像质量。未来可不可以只用像暗通道这样的算法、不依赖硬件就能够实现超威光的效果？
章勇：这是我们追求的目标。刚才你也提到了暗通道算法，实在我们现在的算法，实际上是暗通道算法的进阶版。我们现在完备用了深度学习算法对每个像素进行处理，将来希望不须要再通过纯挚的硬件堆叠，去提升摄像机本身的性能，而是通过内部的软件处理，特殊是AI技能，能够把终极的图像完美呈现给大家。我们可以看到这个趋势越来越明显，很多手机厂家，包括苹果、华为也开始在手机侧对图像采取这个处理方法，而不是纯挚的进行硬件堆叠。