【新智元导读】特斯拉最近曝光“行为克隆”技能，系统研究人类在各种场景中的驾驶动作并加以模拟。巧合的是，自动驾驶第一大厂Waymo不久前也在公布了模拟学习中的技能细节。模拟学习会成为全自动驾驶的一条捷径吗？
全自动驾驶的“捷径”来了？
知情人士表示，特斯拉汽车网络了大量的来自摄像头和其他传感器的数据，纵然Autopilot系统没有开启，开拓团队也可以研究传统的人类在各种场景中的驾驶动作并加以模拟。
这种技能被称为“行为克隆”，实际上是一种模拟学习（imitation learning）。
系统利用模拟的信息作为车辆在特定情形下决定驾驶办法，比如，行驶弯道或避开前方目标等。
不足为奇，为了模拟专家驾驶，自动驾驶大厂Waymo不久前也创建了一个名为ChauffeurNet的深度RNN，该网络通过不雅观察场景的中层表示作为输入，演习它发出驾驶轨迹，终极的结果能超越纯粹的模拟。
此外值得把稳的是，上周AlphaStar降服人类选手之，就涉及到模拟学习。AlphaStar只通过不雅观察人类如何玩游戏，就能模拟学习策略，末了将信息用于演习各种智能体。
现在，自动驾驶界的两只领头羊都在考试测验做模拟学习，这会成为全自动驾驶的一条捷径吗？
特斯拉行为克隆：未来人们不须要写代码了特斯拉的自动驾驶系统Autopilot的核心功能与其他半自动驾驶系统和全自动驾驶系统类似：在Autopilot可以运行之前，特斯拉从汽车的传感器（如前置摄像头）网络数据。
之后公司雇人对图像中的汽车和其他物体进行数字标记，然后将一些图像输着迷经网络打算系统，该系统会对其他车辆及其行进办法进行模式识别，并且随着韶光的推移提高车速。
通过神经网络供应足够的真人驾驶数据，网络就可以学习如何在大多数情形下直接预测精确的转向、制动和加速行为。
但特斯拉不同的地方在于，“行为克隆”让Autopilot开拓团队也可以研究传统的人类驾驶在各种场景中的动作，从而加以模拟。
这样做的结果是，你不须要任何其他东西来教系统如何自主驾驶，在未来，人们不须要编写代码来见告汽车在碰着特定情形时该怎么做，由于汽车自会知道该怎么做。
这个观点被特斯拉的一些工程师称为“软件2.0”。
深度理解模拟学习：未来或能交叉预测其他智能体的反应“软件2.0”可能是一种产品观点，“行为克隆”的背后是技（学）术观点——模拟学习。
目前，特斯拉对付模拟学习的详细先容资料比较少，但是Waymo去年11月发的一篇论文，可以窥见模拟学习的部分技能事理。
Waymo创建的ChauffeurNet的深度递归神经网络（RNN），通过不雅观察场景的中级表示作为输入来演习该网络天生驾驶路线的轨迹。中级表示不直策应用来自传感器的原始数据，从而可以将感知任务分解出来，能够将真实数据和仿照数据相结合，更随意马虎地进行迁移学习。
如下图所示，输入表示包括一个自上而下（鸟瞰）环境视图，个中包括舆图、周围物体、交通信号灯状态、车辆过往的运动等信息。该网络还能够给出谷歌舆图风格的路线，勾引车辆前往目的地。
为驾驶模型渲染输入和输出。上排从左至右：路线图、红绿灯，限速和路线。下排从左至右：当前智能体框、动态框、过往智能体姿势，未来智能体姿势输出。
ChauffeurNet在每次迭代期间会沿着未来的驾驶轨迹输出一个点，同时将预测点写入不才一次迭代期间利用的存储器中。从这个意义上讲，这个RNN并不是传统式的，由于存储模型是定制化的。
接着，ChauffeurNet将由十个未来的点组成的轨迹输出到一个低级掌握器，该掌握器将这个轨迹转换为对车辆的掌握命令，比如转向和加速，来驱动汽车。
此外，Waymo还采取了一个单独的“感知RNN”头，能够迭代式地预测环境中其他移动物体的未来轨迹，并且这个网络与预测车辆驾驶的RNN共享特色。
ChauffeurNet内部分为两个部分，FeatureNet和AgentRNN。 AgentRNN利用过去智能体姿势的渲染图像、由渲染输入的卷积网络“FeatureNet”打算出的一组特色、具有末了一个智能体框渲染的图像，以及具有预测渲染的显式存储器，来预测下一个智能体姿势和自上而下视图中的下一个智能体框。这些预测用于更新AgentRNN的输入，以预测下一个韶光步长。
未来的一种可能是，车辆可以在选择自己的驾驶轨迹的同时，更深入地交叉预测其他智能体的反应过程。
模拟学习是“捷径”还是“普通路径”？“行为克隆”也好，“软件2.0也好”，利用神经网络编写代码来自动驾驶，从而取代人类编写的代码，看上去可能是未来全自动驾驶的捷径之一。
不过，特斯拉“行为克隆”的也有其局限性：这种方法不能教Autopilot系统处理无法轻易预测的危险情景。比如，老司机看到飘在前方的塑料袋时不会转向，但自动驾驶系统可能就会。
这也是自动驾驶存在的识别演习数据干系性问题，它不能通过纯粹不雅观察干系性来构建因果模型，并且无法在仿照中主动测试反事实。
其余，传统方法实现完备自动驾驶系统，须要能够处理现实天下中发生的长尾事宜。
长尾事宜的办理须要深度学习演习尽可能多的数据，但现实情形每每是短缺有效演习数据。
一位长期从本家儿动驾驶的业内人士见告新智元，“行为克隆”是快速网络大量数据的捷径，但网络传输速率和打算量都太大了。“至于是不是实现无人驾驶的捷径，要看能不能搞出真正能用的系统。”
驭势科技CEO吴甘沙见告新智元，模拟学习的紧张局限是数据的可得到性和有效性，比如影子模式可能办理了可得到性，但也包括了不值得提倡的司机行为。另一方面，它还是端到真个，在可阐明性上才刚刚有些进展。同时，由于是端到端，比较难在中间过程中接管其他的信息或指令。
吴甘沙认为，模拟学习“肯定是路径之一，或者是决策的一个来源，但目前来看还不能作为唯一决策方法。”
One more thing：特斯拉AI芯片专利曝光据Hot Hardware宣布，特斯拉向美国专利牌号局提交的专利中提到，传统处理器可以快速实行单个数学运算，但它有一个限定：这样的处理器一次只能处理少量数据。
虽然GPU可以利用更大的数据集实行多个任务，但它们最初并不是为机器学习和AI开拓的。
特斯拉的AI芯片专利内容如下：
“用于机器学习和人工智能的处理常日须要对大量数据集实行数学运算，并且常日涉及求解多个卷积层和搜集层。”
为理解决这个问题，特斯拉必须开拓一种新的神经AI，可以进行“机器学习和人工智能特定的处理操作”。
因此，特斯拉提交了一些专利：
加速的数学引擎具有可变延迟存储器访问的打算阵列微处理器系统利用非连续数据格式的打算阵列微处理器系统矢量打算单位。目前，Autopilot 2.0的打算机组件由英伟达GPU供应支持。
同时，即将推出的升级版本将取代特斯拉目前利用的Autopilot 2.0平台，利用AI芯片的Autopilot 3.0能够在汽车中实现全自动驾驶功能。
参考资料：
https://medium.com/waymo/learning-to-drive-beyond-pure-imitation-465499f8bcb2
https://www.theinformation.com/articles/what-makes-teslas-autopilot-different
https://www.reddit.com/r/MachineLearning/comments/aklwv8/n_report_tesla_is_using_behavior_cloning_ie/