量子位 | "大众年夜众号 QbitAI
不知道你们有没有这样一种觉得，芯片性能要遇上瓶颈了。
光就芯片制程来看，从7nm卷到5nm再卷到3nm，已经越来越逼近摩尔极限。
于是，不少厂商开始试着用AI给芯片性能供应灵感，从神经拟态到用AI设计芯片，各种技能路线都有人在考试测验。
这种情形下，哪些新AI技能最可能被运用到下一代芯片当中？
对此，我们采访了一下高通工程技能副总裁侯纪磊。
侯纪磊博士毕业于加州大学圣迭戈分校，在高通已经事情了19年，目前是高通公司AI研究项目卖力人，卖力高通AI研究（Qualcomm AI Research）的技能创新方案。
在采访中，侯博士分享了高通AI研究在根本、平台和运用三个研究方向的一些创始技能成果。
个中，根本研究紧张针对前沿性、根本性的AI技能进行研究，例如神经压缩和AI+量子打算干系领域的探索；
平台研究则紧张是从平台能力和创新的角度，推动AI技能的发展并提升能效、进行端侧学习，例如量化技能和联邦学习；
运用研究包括移动端视频AI技能和3D+AI技能等，涵盖智好手机、XR、自动驾驶等各个行业运用领域的技能研究。
同时，侯博士还分享了不少“AI落地狂魔”高通，将AI技能快速运用到芯片上的窍门。一起来看看。
芯片厂商悄悄研发这些新AI虽然高通最广为人知的AI技能是量化，不过要看最新的技能，还得从高通AI研究的顶会论文中去找。
从论文来看，高通相对着重的AI根本技能可能因此下四个方向：神经增强、弱监督学习、神经推理和量子AI。
先来看看神经增强（neural augmentation）技能，目前高通已经将之用到了无线通信中。
平时处理无线通信旗子暗记紧张有两种方法，一种是用传统滤波器搞一套公式出来，另一种是用AI直接演习并预测结果，前者精度不高，后者演习数据量太大。
高通选择将二者结合起来，在保留传统滤波器的根本之上，让AI自己学习调参。
没错，便是教会AI自己当调参侠，闇练运用并节制那些看起来晦涩难懂的公式，类似于运用卡尔曼滤波器的场景中，让AI自己学会调度个中的QR参数。
再或者以麦克斯韦方程为例，高通选择保留y=xH模型的线性，同时采取AI学习H的分布：
假如类似的技能能用于手机无线通信基带上，旗子暗记说不定还能再进一步增强。
而神经增强还只是高通神经推理研究的一部分。如果AI真的同时具备了逻辑思维和抽象能力，那间隔芯片性能打破也不远了。
再说到弱监督学习，这个方向一贯是办理长尾问题、以及AI技能落地新场景的一大趋势之一。
就像是“让AI自己学习”一样，这项技能旨在避免数据标记缺点导致的AI精度低落、以及降落标记本钱等，来利用少量标记数据，实现与监督学习靠近乃至超过监督学习的精度效果。
侯博士先容了在去年MWC，高通做的一个演示，用弱标记的方法，演习出相瞄准确度高的定位的模型。
而且最令人惊异的是，这种定位的模型它不是通过视觉的办法，而是通过射频旗子暗记来进行定位的学习，利用了弱监督和自监督的学习方法。
室内定位场景所需的旗子暗记数据标记比较繁芜，通过射频感知的方法，利用弱监督学习能比较有效地节省本钱、提升效率。
嗯，现在老板只须要通过无线旗子暗记，就知道你在哪个办公室和同事摸鱼谈天了（手动狗头）。
再来看看神经推理（Neural Reasoning）技能。
事实上，这里的推理并不是指纯挚的模式识别，而更像是教AI学会“逻辑推断”，观点上和Yoshua Bengio之条件到的system2（逻辑剖析系统）有些相似。
那么，神经推理和芯片有什么关系，可以运用在哪些方向，高通又进展到哪一步了？
据侯博士先容，神经推理是一种将符号推理和神经网络上风结合起来的思路，让模型兼具并行性和串行性，而这个思路对付打算硬件而言同样具有借鉴性，目前高通已经利用自回归措辞模型做出了一些创始成果。
末了来看看量子AI技能。
目前高通紧张有进行两个方面的研究，一个是基于AI加速构建量子打算机，另一个是让AI更快在量子打算机上运行的新方法。
个中，基于AI加速构建量子打算，紧张研究方向在群等变卷积神经网络上。
研究职员通过引进群等变卷积神经网络，提出了一种新的解码办法，比传统解码器运行效率更高、性能也更好。
而高通登上ICML 2021的一项新研究，还提出了一种基于量子场论，在光学量子打算中运行神经网络的新思路。
如果未来真的能用量子打算运行AI，那大模型快速运算也不是梦了。
以是问题来了，高通正在进行的这些根本研究，究竟有没有落地的可能？
间隔我们用上还有多久？技能之终极意义，还是要看向运用。
实际上，高通AI研究关注前沿科技背后，更加重视的是这些技能详细如何落地。
例如在早些年AI领域还在关注图像处理的时候，高通就已经在布局视频AI技能的落地了，并产生了不少相应的创始成果。
包括在移动端将视频超分到4K 100+FPS，便是高通率先实现的。
那么在这个过程中，高通是如何实现将AI论文落地到芯片运用中的呢？
这就得说回高通AI研究的三大布局：
根本研究，涉及量子AI、强化学习、群等变卷积神经网络等，着眼于迢遥的未来，常日更具有根本性。平台研究，包括软硬件协同设计、AI模型效率工具包以及模型量化、压缩和神经架构搜索等，来实现最佳的能效、性能和时延。运用研究，是指利用AI根本研究和平台研究的成果在某些特定用例中，包含视频识别与预测、指纹图谱、图形深度学习、视觉质量提升等。一方面，高通一贯以平台研究技能带动运用研究的落地。
以模型量化为例。
这是高通AI研究这几年研讨的核心技能之一，目的便是给AI模型做个“瘦身”。
在实际运用处景中，由于电量、算力、内存和散热能力受限，手机利用的AI模型和PC上的AI模型有很大不同。
在PC上，GPU动辄上百瓦功率，AI模型的打算可以利用16或32位浮点数（FP16、FP32）。而手机SoC只有几瓦功率，也难存储大体积AI模型。
这时候就须要将FP32模型缩小成8位整数（INT8）乃至4位整数（INT4），同时确保模型精度不能有太大丢失。
以AI抠图模型为例，我们以电脑处理器的算力，常日能实现十分精准的AI抠图，但比较之下，如果要用手机实现“差不多效果”的AI抠图，就得用到模型量化的方法。
值得一提的是，基于模型量化快速支配，高通在2020年开源的AI模型增效工具包（AIMET）。
这个中包含了同年以及上年被ICML、ICCV收录的技能方法。
量化的结果之一便是，更多运用方向的AI模型被“压缩”并优化，然后加速支配到芯片中。
比如视频语义分割上，首次在移动端上以FHD分辨率实现实时街景；神经视频压缩方面，首次在移动端实现了实时高清解码……
从这些行业首次落地的成果中可以直不雅观感想熏染到，高通AI研究在结合前沿学术、运用需求上的考量。
侯纪磊博士在采访中表示，高通的AI技能从最初创造到形成开源或商业化生态，只须要2-3年韶光。
另一方面，从运用和平台需求上反过来push根本研究技能的进展，催生出更多交叉领域。
比如联邦学习、图像预内核优化，便是根本与平台研究相交叉产生的领域；音视频压缩、面向无线领域和射频感知的AI等，则是根本和运用研究相结合的表示。
也便是说，高通在根本、平台、运用三方面上的研究，完全地将AI技能落地所需的算法模型、数据、软硬件、运用处景几大要素席卷个中，以支持边缘AI，走的是全栈AI研究的路线，并首次在移动终端上演示了观点验证。
以此，高通希望能通过研究“可以运用并落地的AI”，快速推动技能落地的进程。
侯博士表示，实在高通本身在平台和运用上投入比重就会更大，此外在根本研发过程中，产品团队还会深度参与，方便技能职员更加理解运用需求。从AI研究到落地每每非常繁芜，须要考虑更多现实天下中的问题（如长尾场景等）。
高通AI研究的目的不仅在于技能创新，也是实际场景运用中的创新。
目前，高通光是实现落地的AI创始研究成果，就有这么多：
由此可见，高通AI研究在创始技能之外，更致力于将这些成果成功运行到终端上。
例如前段韶光发布的骁龙X70，便是经由这样的进程问世的。作为环球首款引入AI处理器的5G调制解调器及射频系统系统，骁龙X70估量后续汇合成到骁龙年度的8系旗舰平台上。
猜猜，下一代5G手机的旗子暗记、图像、音视频处理等技能会不会更强？
你最期待哪些顶会AI技能运用得手机上呢？
参考链接：[1]https://www.youtube.com/watch?v=Tavl2nWHKU8&t=938s[2]https://www.qualcomm.com/research/artificial-intelligence/ai-research
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一韶光获知前沿科技动态