作者：Yuanyuan Li
编辑：Joni Zhong
农业喷洒运用中的 AI 身影。
序言
喷洒 （spraying），紧张指的是用农作物保护产品喷洒农作物。农作物保护产品的类型有很多，比如用来杀去世杂草的除草剂、农药、营养液 / 化肥等。由于喷洒农药紧张是为了保护农作物的成长，这一类操作也常常被称为农业植保（Crop protection）。在本文中笔者将集中谈论除（杂）草方面的自动化进程。
喷雾机器（sprayer），则顾名思义，是用于喷洒化学产品的设备。可能大家根据电视里想象的打农药的场景，一样平常是一个人背着带有喷枪的背包行走在田间，对旁边两侧的作物进行喷洒。实际上，这类喷雾机属于体型较小的便携式单元，当代农业利用的喷雾机器已经发展为大型设备，紧张可以分为三类——安装式（mounted）、拖挂式（trailed）、自走式（self-propelled），如下图所示。前两者不能自行移动，须要与拖沓机相连，而末了一类则整合了引擎、车厢等部件。安装式和拖挂式的差异在于和拖沓机的连接办法，可以理解为安装式喷雾器更像是一个「挂件」，而拖挂式喷雾器则自带轮子，可以连接在拖沓机的尾部。详细利用哪种喷雾器，则要根据实际需求和本钱考虑。由于拖沓机在全体农业周期中都承载着浩瀚的任务，是不可或缺的机器，而喷雾器只是在特定时期利用的机器，对付一些中小型农场来说购买安装式或拖挂式喷雾器是更加经济的选择。
喷雾器。左：安装式（mounted），中：拖挂式（trailed），右：自走式（self-propelled）。（图源：https://www.beyne.be/en）
在喷雾器上，最引人瞩目的部件该当便是喷杆（spray boom）了。根据作物的高度，喷杆一样平常安装在 1.2 到 9 米之间的高度，而其臂长可以轻易达到 10-20 米旁边，乃至 40 米以上。在喷杆上，等间隔的布有喷嘴（nozzle），用于促进液体分散到喷雾中。在本文磋商的智能喷洒（smart spraying）的产品中，对喷嘴的自动掌握是开拓过程中的一个主要环节。
自走式喷雾器展开的样子。模型：Case Patriot 4430 Sprayer w/120 Foot Booms（图源：https://www.youtube.com/watch?v=nfcbTHwPxi4）
喷洒作业并不会涉及到非常繁芜的流程，喷雾器的机器设计也很直不雅观，但要实现智能喷洒，在实践过程中也有不少寻衅须要办理。第一个寻衅便是足够的农业知识——要进行杂草防治，首先须要对常见的农作物和杂草有一定的理解。从下图中可以看出，随着杂草着花并分支，其形态与幼苗期间的样子已经有了很大不同，而这还仅仅只是一种杂草。目前在欧洲范围内大概就有 30，000 种杂草 [1]，更遑论全天下范围内了。许多杂草或与农作物的形态相似，或只在特定领域成长（比如美国的玉米农场就会成长一种在欧洲的玉米农田里见不到的杂草）。而十年前本地常见的杂草又和现在常见的杂草不一样。要网络高质量——覆盖范围广、有代表性、标注准确等——的数据，研发职员必须具有足够的专业知识或与农学家密切互助。
此外，开拓智能喷洒系统，并不仅仅只是为了取代目前的半人工喷洒，更是为了减少化学药品的利用。在食品受到严格监管的欧盟区，农业行业的发展很大程度上受到现有的或近期将会出台的法律法规的影响。从 2014 年开始，病虫害综合管理（Integrated Pest Management ，IPM）在欧盟成为逼迫性方法，个中就包括负任务地利用农药和植物生物技能办理方案。由于目前环境问题越来越严苛，在接下来的几年，估量会有更详细的方法出台来进一步限定化学药品的利用量。因此，喷雾器作业的精准度必须进一步提升——乃至达到厘米级的精度——来符合更高的环保哀求。相应的，这也对模型的推理速率，包括相应的掌握系统的相应速率都提出了比较高的哀求。
平心而论，一个农业产品即便是要实时达到厘米级的精度，其难度仍旧很可能低于自动驾驶领域的一个实时运用，由于农业东西的作业速率要远低于汽车驾驶的速率。比如喷洒除草剂时，拖沓机的时速一样平常不会超过 30 km/h。但这并不代表这样的哀求就没有寻衅性。首先生产商能够包袱的硬件设备是有限的，而为了能够覆盖喷洒的所有区域，喷杆上一样平常须要每个几米安装一个相机和足够的算力来捕捉图像并进行模型推理，然后在喷雾器上再配备单一掌握系统来完成 GPS Mapping 等任务并操控所有的喷嘴。总体打算下来，每个相机可能只能配备一个相称于 Nvidia Jetson nano 的算力的 edge device。这样的设备要运行进行图像分割的神经网络进行实时推理不是完备不会吃力的。实际上，Nvidia Jetson nano 并不总是工业自动化开拓中一个好的算力设备选项。至少在农业领域，由于机器运行的环境可能会比较有寻衅性，并且在作业机遇器内部可能会形成高振动、高温或高湿度的环境，每个制造商都对利用的零部件有详细的哀求——比如 IP 68 防水—— 而 Nvidia 家族的算力设备很多都没有知足生产商的哀求。
其余，智能喷洒对喷雾器原有的硬件也是一个寻衅。笔者就见过喷雾器自带的 driver 相应速率不足快，导致喷嘴的掌握速率跟不上模型的推理速率，或者喷杆太长导致末端的打算设备供电不敷等各种始料不及的问题。一些其他的特定于植保领域的问题包括自然环境的寻衅性——风会滋扰喷洒的精确性等、野外末端的过量喷洒——当喷雾器在野外末端掉头返回野外的另一侧连续喷洒除草剂时，由于驾驶路线的重合，部分杂草会被重复检测到，从而造成除草剂的过量喷洒。
但另一方面，智能喷洒涉及到的行业知识相对其他任务来说已经较少，进入壁垒不高。这本身也是一个适宜打算机视觉的任务，随着干系办理方案的成熟，目前市场竞争已经变得越来越激烈。宏不雅观来看，现有的办理方案可以大致分为三类：在喷雾器上添加智能模块，野外机器人（field robot），无人机和喷雾器结合的办理方案。第一类一样平常是市场内现有的大型生产商主攻的方向，也有一些初创公司希望与生产商互助开拓或直接将办理方案卖出，而不直接参与市场竞争；第二类则是很多初创公司或从其他领域转入的公司的主攻方向，它们一样平常希望能够参与市场竞争，与消费者有直接打仗；后者则很多是现有的农业无人机做事商供应的新特色。接下来笔者将对每一类的范例产品进行谈论。
本文将集中谈论各种创新性的智能喷洒机器人。从如何在一样平常喷雾器根本上添加机器学习算法，到能够替代完备喷雾器的新一代野外机器人，以及在研发过程中面对的各种实际寻衅。
在喷雾器上添加智能模块
大部分产品的研发思路都是通过相机（RGB 或 Spectrum）拍摄喷雾器将要喷洒的区域，然后利用支配在相机上的打算机视觉算法识别区域内的杂草并打算杂草的相对或绝对位置，将该信息返回到掌握系统中。后者会根据喷雾器自身的位置和速率以及杂草的位置，在到达杂草附近时开启喷嘴，喷洒除草剂。这个思路不仅仅是适用于为喷雾器开拓智能模块，也包括开拓机器人等其他手段，差异紧张在于图像获取和推理的手段以及位置。
模型方面，各团队都大同小异，无非是常见的那几个图像分割神经网络，即便是非常大略的 UNet 也可以取得不错的表现。大部分工业界的研发工程师们对模型是不是足够创新、是不是 SOTA 模型不会特殊在意，能不能轻易的整合到现有的产品框架中主要的多。实际上， UNet 及其变体 ENet 每每受到青睐，缘故原由有三。其一，模型推理速率不错，并且构造大略，对其进行压缩、加速、优化等操作也非常方便；其二， 模型较小或者可以被轻易的缩小；其三，其利用的 operation 都比较根本，不随意马虎涌现将其支配到设备上时却创造设备不支持一些刚开拓出来的 operator 的问题，如果利用 Tensorflow-Lite 等 framework 的话终极的须要运行 binary 也足够小，方便通过云端对设备进行远程更新。
至少在智能识别杂草模块上，如何得到更高质量的数据、如何快速迭代是比用什么神经网络主要的多的问题。一样平常来说，像这样标定在特定领域（domain specific）的产品，每每都是从一个很小的数据集起步直接演习模型，然后在自己的或者互助方的园地进行测试。如果产品的表现差强人意就可以支配到 edge device ，并建立干系的掌握系统，来进行更大范围的测试。当在测试过程中创造问题时——比如异地测试创造模型不能识别当地的分外杂草——再通过重新演习模型来优化产品表现。因此，如何在喷洒机器测试后，再高效地重新演习模型，这种关系到 AI 落地的问题，则是笔者在本文想紧张谈论的问题。
在过去不久的 IROS 2020 会议上，波恩大学的团队提出了利用 Style Transfer 天生数据来用于重新演习模型而不必再网络数据 [3]。作者将已经网络并标记好的数据领域命名为源领域（source domain），神经网络须要重新演习的数据领域命名为目标领域（target domain）。源领域和目标领域差异可以在于杂草的不同、环境的不同（黄地皮 VS 黑地皮）、相机的不同等等等等。
用于语义分割 （semantic segmentation）的全卷积神经网络（FCN）便是前文提到的 UNet，详细构造如下文所示。
用于进行图像分割的 FCN 神经网络（图源：Gogoll, D. et al. (2020). Unsupervised Domain Adaptation for Transferring Plant Classification Systems to New Field Environments, Crops, and Robots. 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS).）
在目标领域内，由于数据已经被标记好，直策应用有监督演习就可以得到可用模型。当该模型被用于其他环境时，由于数据领域的变革，模型表现会低落，此时，作者利用 Cycle GAN 来将原有的数据转化为符合目标领域风格的数据。Cycle GAN 由两个天生器（genrators ）G 和 F 组成。G 用于将图像从源领域转换到目标领域，F 则做反方向的转换。
假设在源领域内已有图像 x 和 Groundtruth S_x，在目标领域内有图像 y 但没有相应 groundtruth。则 Cycle GAN 中的天生器 G 会将图像 x 转换到目标领域天生 G(x)，F 再将 G(x) 转换回源领域天生 F(G(x))，如下图蓝色圆环所示。接下来的循环中——如绿色圆环所示——天生器 F 将目标领域的图像 y 转换成 F(y)，再有 G 转换回目标领域天生 G(F(y))。演习时利用的丢失函数是 Cycle GAN 论文中原本利用的丢失函数。
用于天生仿真图像的 Cycle GAN（图源：Gogoll, D. et al. (2020). Unsupervised Domain Adaptation for Transferring Plant Classification Systems to New Field Environments, Crops, and Robots. 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS).）
这样演习虽然可以担保天生的图像和目标领域的图像具有一样的风格，却不能担保图像中主要的语意信息还能被保留下来。但如果没有语意信息，天生的图像就不能用于重新演习神经网络，全体事情也就毫无意义。为理解决这个问题，作者在两个领域内各加了一个用于图像分割的 FCN，构造和前文提到的 FCN 千篇一律。在每个循环中，FCNs 须要对天生的图像进行分割，并与 groundtruth 比拟打算 IOU 丢失。由于目标领域内的图像 y 没有 groundtruth，源领域内 FCN f_x 在其上的预测结果 S_{F(y)} 将作为 grouthtruth。这样，在源领域内可以打算 FCN 对天生器 F 天生的图像 F(G(x)) 的预测 vs groundtruth S_y 的 IOU 丢失；在目标领域内可以打算三个 IOU 丢失，FCN 对天生器 G 天生的图像 G(F(y)) 的预测 vs S_{F(y)}、对天生的 G(x) 的预测 vs groundtruth S_y、 以及对图像 y 的预测 vs S_{F(y)}。
这些丢失将被记入到丢失函数中，以担保天生的图像仍保有主要的语意信息。
不才图中，作者展示了将 IOU 丢失纳入目标丢失函数所带来的效果，个中第一行和第二行代表了在不同地域网络数据所带来的数据变革（波恩 vs 斯图加特，苏黎世 vs 波恩），第三行实验了不同作物（甜菜 vs 太阳花），第四行则利用了不同的机器人，其上配备的相机不同（AD-130GE vs MAKO G-158）。除了第三行部分利用了太阳花数据，其他数据都是基于甜菜的，目标则是识别图中的杂草。从这里也可以一窥一旦地域扩大、韶光拉长，杂草检测任务的繁芜度也直线上升。
在前两行中，视觉上来看原来的 CycleGAN 虽然比不上作者改进的 GAN，但还不算太差。但当图像变得比较「稀疏」，特殊是作物和杂草都变得很小时， CycleGAN 天生的图像就开始丢失很多语意信息，大大拉低了图像质量。由此导致重新演习后的 FCN 在预测时丧失落了很多细节，噪声也比较多。
定性结果。第一行和第二行：不同地点；第三行：不同作物；第四行：不同镜头 / 机器人网络的数据。（图源：Gogoll, D. et al. (2020). Unsupervised Domain Adaptation for Transferring Plant Classification Systems to New Field Environments, Crops, and Robots. 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS).）
其他大略的方法还有直接将各种杂草「抠图」，然后拼接到此前拍摄的图片上，从而对须要重点关注的杂草进行演习。由于这类图片本身也是对着地面拍摄，景深并不繁芜，拼接后的逼真度也是可以接管的。
野外机器人（field robot）
在 VDI Land.TECHNIK 2020 会议上，ecoRobotix 分享了他们研发野外机器人用于全自动智能喷洒作业的履历 [2]。在产品还处于构思阶段时，ecoRobotix 紧张考虑了动力系统、图像获取、机器人运输和安全问题。在设计动力系统时，一方面孔前对清洁能源的哀求越来越高，另一方面野外机器人作业的一大上风便是不需人力，如果在实际作业时须要人力时时时对动力系统进行掩护这一上风就大打折扣了，以是 ecoRobotix 终极选择了电池加太阳能版的办理方案。图像获取方面，光谱图像（spectral image）相较于普通的 RGB 图像更有上风，但出于本钱和演习神经网络的难易度等考虑，跟目前市情上的大部分办理方案一样，终极 ecoRobotix 还是利用 了 RGB 图像。实际对付智能喷洒这一任务来讲， RGB 图像就够了，本钱也更低。但如果是检讨作物康健，光谱图像就变得有些不可取代了，由于很多作物丢失在可见光下是不可见的。实行任务机遇器人须要到野外作业，而机器人又不能自主上路，因此终极的产品须要随意马虎被运送。也便是说，机器人最好不须要过多的其他附件来实行任务，并且的形态设计上要随意马虎被拖拽。这样可以通过拖沓机直接拖挂，然后运输到目的地。安全性则紧张指的是大小和重量，特殊是在目前干系的法律法规还不清晰的情形下，越轻、越小的机器越随意马虎规避可能的风险。同时这对产品终极的本钱也有很大的影响。
在 ecoRobotix 的初版设计中，如下图所示，全体机器人的重量只有 140 千克。为了将重量和本钱压得只管即便低，全体机器人的设计非常大略，基本上可以理解为在四个轮子上架了电池和一块太阳能板，并在太阳能板阁下安装了算力设备、两个喷嘴和掌握系统以及一个相机。
ecoRobotix 机器人初版设计。（图源：Tanner, S. (2020). Experience gained in developing autonomous robots. International Conference on Agricultural Engineering.）
虽然本钱很低，但该机器人的事情效率实在不高—— 一次只能喷洒 2 米内的杂草，事情速率最高也只有 1.8 km/h。更麻烦的是，在初版的设计中机身上的相机在捕捉图像时紧张依赖自然光，这就导致随着地形、景象和韶光的变革获取的图像的质量会发生很大变革。即便通过曝光时长的不同相机能够分别对阴影处和太阳光直射的地方进行拍摄（如下图所示），终极合成的图像质量仍旧不理想。
ecoRobotix 初版机器人拍摄图像对付自然光不稳健。（图源：Tanner, S. (2020). Experience gained in developing autonomous robots. International Conference on Agricultural Engineering.）
由于这个问题的存在，ecoRobotix 对其机器人进行了重新设计，终极形成的第二版配有更多部件，当然也更大更重（净重 600 千克）。详细来说，第二版的机器人除了用太阳能版充当一个「顶棚」，还在阁下安装了挡板以阻挡自然光。相机则被安装在挡板下方，并配有照明系统来获取更稳定的亮度。相机的数量也增加到了两台，实时进行定位和杂草检测。在机器人的尾部布有高密度的喷嘴（25 喷嘴 / 米），从而担保厘米级精度的喷洒作业。在作业速率方面，虽然还是算不上空想，但作业速率也有提升一倍（3.6 km/h）。由于机器人可以 24/7 全天一直歇作业，也在一定程度上填补了其事情速度过慢的毛病。
ecoRobotix 机器人第二版设计。（图源：Tanner, S. (2020). Experience gained in developing autonomous robots. International Conference on Agricultural Engineering.）
无人机
在无人机方面，由于现有的办理方案基本都是由商业公司自行开拓的，很难找到如论文等详细的演示，但其模型事理不能猜想——无人机也须要对其捕捉的图像进行推理，并借助一些 GPS 软件对预测到的杂草进行定位，然后或直接进行喷洒，或在翱翔完毕后天生报告，用户则可以将报告同步到自己的喷雾器中按方案好的路径进行喷洒。纯挚利用无人机进行智能喷洒比较其他方法并没有很大上风，但考虑到无人机还可以进行其他植保作业——如喷洒营养液、作物康健检讨等——用无人机进行智能喷洒就变得顺理成章了起来。
目前市场上不同的做事商的卖点不同。American Robotics 致力于供应可以完备自主操作的无人机 [4]。通过将侦察无人机安置在 ScoutBase 中，无人机可以自行返回 ScoutBase 进行充电或躲避恶劣景象。无人机本身并不实行任何实际作业，它们的任务只是侦察。ScoutBase 中还配有数据处理站，用于存储、洗濯、打算、传送无人机获取的数据。用户只须要安装 ScoutView 就可以连接到 ScoutBase 随时获取想要的数据。根据这些数据，用户可以相应的安排喷洒事情。同样采纳这一策略的还有 Volodrone [5] ，但它们的无人机仍旧须要操作职员。Skyx [6] 则致力于翱翔和作业一体化和高度定制化。Skyx 的无人机可以在检测到杂草的同时就喷洒除草剂，用户可以通过 APP 随时改变自己想要喷洒的药物量。相同类型的产品还有 DroneAG [7]。
结语
无人机的优点在于其灵巧性，边边角角也能喷洒到，在不规则的农田里有上风。但其事情效率实在难以阿谀，纵然目前市情上的植保无人机的单机载重和续航能力相较以前已经大大增加了。从燃料花费最近看，喷洒效率最高的无疑是传统的喷雾器，一次可以喷洒几十米，驾驶速率也快，机器人和无人机难以望其项背。在大型农场里如果纯挚利用小型机器人，杂草的成长速率可以比喷洒完全个农田的速率还快。从无人化角度来看，相对付机器人和无人机，喷雾器的无人化进展更缓慢。机器人如果配有太阳能电池可以 24/7 事情，可以填补喷洒效率低的毛病。不须要操作职员的无人机在前文中已经提到了。
本钱方面，三种产品不相上下。但喷雾器是市场上已经存在了良久的产品，其利用和掩护都更随意马虎上手。另一方面，由于体型和重量都更小，无人机和机器人在安全性上则霸占巨大上风，这在目前干系法律法规还没有到位的情形下有助于规避可能的风险。
末了从环保角度来看的话，利用太阳能为无人机和机器人供能不是什么难题。但用清洁能源为喷雾器这类大型东西供能仍算小众，虽然目前各大生产商都在加紧研制更环保的机器，市场上的大部分产品仍旧在利用柴油。
对付消费者来说，目前农业市场还处在转型过程中，不少农人对自动化办理方案还有顾虑，或认为其耐用性不敷、或认为其用户体验不足好、或认为其本钱过高。其余，干系的法律法规也不足明确，一旦涌现事件，干系方如何定责是个难题。做事商如何处理其网络的数据、如何保护用户的隐私等，都是农人密切关注的话题。但智能喷洒可以将化学产品的利用量减少至多 90%，从这一点来看不论目前的产品还有多少不敷，智能喷洒产品进入这个行业并逐步成为被农人们接管的办理方案是一定的。
而技能的飞速发展，也在推动政府和干系机构更加积极的去磋商监管机制。从笔者今年参加的各种会议来看，目前企业方研发职员都认为干系技能已经成熟，目前紧张是在等待详细法规的发布。实际上，大部分从业者已经对将会出台的监管内容有一个比较明确的预期了，并认为几年内详细的条款就会发布。法规发布后，一到两年之内干系产品就能够完成准备事情进入市场了。随之而来的，产品的本钱也一定会很快的降落到农人可以接管的程度。
自动化技能正在渗透进我们生活的方方面面，而改变，很可能会比很多人想象中来的还要快。
参考文献
[1] European Crop Protection Association(ECPA) https://www.ecpa.eu/more-with-less
[2] Tanner, S. (2020). Experience gained in developing autonomous robots. International Conference on Agricultural Engineering.
[3] Gogoll, D. et al. (2020). Unsupervised Domain Adaptation for Transferring Plant Classification Systems to New Field Environments, Crops, and Robots. 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS).
[4] https://www.american-robotics.com
[5] https://www.volocopter.com/en/volodrone/
[6] https://www.skyx.solutions
[7] https://droneag.farm
剖析师先容：
本文作者为 Yuanyuan Li。几次转行，本科国际贸易，研究生转向统计，毕业后留在比利时，从事农用机器研发事情，紧张卖力图像处理，实现打算机视觉算法的落地。欣赏统统大略、优雅但有效的算法，试图在深度学习的簇拥者和疑惑者之间找到一个平衡。
