2022年2月，美国海军学会学报刊发了《人工智能：太薄弱而无法战斗？》（Artificial Intelligence: Too Fragile to Fight?）。文章认为，人们对付人工智能的技能上风每每过于乐不雅观，美国一部分领导人乃至担忧不采取人工智能就会有失落去军事技能竞争上风的风险。
虽然人工智能在一定条件下可以很好地支持作战职员或美国国防部的现有事情，但是人工智能仍具有持久的、关键的漏洞，如果国防运用程序要保持弹性和有效性，就必须彻底理解和充分办理这些漏洞，否则在关键作战能力中采取人工智能就会在核心症结部位招致灾害性的弱点。
1.运用现状 人工智能当前在美国海军中的运用现状 1.1 美国海军的紧张任务：发展AI！
人工智能已经成为提高美国海军和美国国防部能力的技能焦点。美国海军部长卡洛斯•德尔•托罗（CarlosDel Toro）将人工智能列为改造美国海军力量的紧张课题。美国海军作战部长迈克尔•吉尔戴（Michael Gilday）年夜将也提出：人工智能在沙场能力和决策灵巧性方面供应了许多有希望的打破。
1.2 人工智能漏洞：降落其系统的作战预期
AI技能的进步也伴随着巨大的风险：由于自动化（包括人工智能）具有持久的、关键的漏洞，若要运用与国防运用中，则必须彻底理解和充分办理这些漏洞，才能保持其有效性和弹性。然而，目前的人工智能系统非常薄弱——也便是说，在高强度的利用中，很随意马虎被欺骗、破坏或随意马虎出错。
机器学习，尤其是当代“深度学习”方法，虽然推动了人工智能的进步，但也非常随意马虎受到欺骗和滋扰。人们常日认为“人-机团队”可以办理这个问题，但是这种团队本身也存在大量问题且十分薄弱。因此，新的AI功能系统只是看起来比原有技能优胜，但是其潜在的薄弱性将为作战埋下灾害性毛病与隐患。
此外，未来运用程序中的故障模式常日是不可见的。因此，人工智技能虽然取得了重大进步，但每每没有充分认识到这些进步的局限性。导致了一种很危险的征象：冒着过度依赖技能的风险，而技能可能会大大低于预期。
1.3 美国海军领导对人工智能/人-机团队协作盲目乐不雅观
陆军未来司令部司令和国防部技能采纳部领导迈克•默里（MikeMurray）年夜将在最近的一次电台采访中说：“我无法想象一个自动的目标识别系统不会比人类的影象做得更好……假设你必须在演习抽认卡上有90%的成功率才有资格坐到炮手的位置上，那么根据你所看到的火炮类型，如果有精确的演习数据和精确的演习，我无法想象没有一个别系（一个算法）能够做得比90%更好，然后让人类决定是否精确、是否扣动扳机。”
这种说法反响出，人们对人工智能的局限性以及人类与自动化之间的折衷困难缺少想象。
AI识别的成功率只是建立在有限范围内实验所得到的数据根本之上的，现实天下中并没有一个成功的案列可以证明AI的可靠性。尤其是过去几十年，自动化在大型关键领域系统（如航空、制造和工业掌握系统）中的运用存在诸多毛病和漏洞。因此，AI在现实天下中的运用要吸取这些履历教训，而且要慎之又慎，只有在充分理解AI系统自身存在的局限性，才能更行之有效地运用AI系统。
目前关于人工智能的说法每每过于乐不雅观。过分浮夸了技能期望，人工智能并不是万能药。相反，人工智能是一套重塑问题及其办理方案的技能。人工智能在军事或国家安全问题上的可靠运用必须确定要战胜的关键问题与限定成分，军方不能忽略基本的技能现实，就急于开拓新技能。否则，军方可能会创造自己依赖于薄弱的工具，无法胜任实际的作战任务。
1.4 运用AI前应明其毛病
在军事行动中，必须根据“采取新技能是否会产生未知问题，以及是否会产生比它所要办理的问题更危险的问题”这个标准来仔细评估新技能。对付大型、繁芜和“棘手”的问题，“任何办理方案总比没有好”这种办法并不总是常常能行得通。相反，干预每每会产生新的问题。
2.优缺陷比拟 人类与人工智能目标识别的优缺陷比拟 2.1 人类识别的上风
人类识别和目标识别算法既不等效也不直接可比。二者以不同的办法实行不同的任务，并且必须根据不同的标准来衡量。
人类在目标识别任务中，不仅能识别目标本身，同时还能很好地识别与目标干系的周围环境。人类可以在理解目标识别这一观点的根本上，从总体上概括出目标本身及其所处环境的不雅观察结果，并能大致评估出不愿定成分，从而能更加清晰地理解所识别的目标。
因此，人类的视觉和辨别能力远比大略的目标识别抽认卡测试所能丈量的要强大得多。
2.2 人工智能的目标识别
2.3在繁芜多变的现实天下中，AI很难描述扩展任务的目标识别性能
2.4 人类识别与目标识别算法不具有可比性
只管图像识别模型可以在大略的抽认卡测试中“优于”人类这一说法可能是真的，但是利用实验室数据或是在作战测试场景中，人类和算法在目标选择和识别方面的性能是等同的，正如默里将军所说，这意味着在这些任务上的性能是具有可比性的。然而这一结论不可尽信！
由于每一种情形下所做的事情是不一样的，以是天生结果的可靠性也会有很大的不同，依赖原始性能可能会导致危险的情形。
3.毛病
人工智能在运用中的毛病
3.1 对抗中被欺骗
目前表现最好的人工智能方法是基于深度神经网络机器学习，在大略的抽认卡资格测试中，人工智能的性能彷佛超过了人类。然而，这种性能的代价很高：这些模型会过度学习评估标准的细节，而不是适用于超越测试用例以外的一样平常规则。
3.2 决策缺点
人们可能会认为，让人类参与到AI系统的决策过程中就可以办理AI本身的漏洞。也便是说，AI系统向人类推举决策建议，或者AI系统在人类严格监督下进行决策，这样人类就可以掌握AI系统决策结果。
不幸的是，人-机团队也常常被证明是薄弱的。由于人们对付自动化的状态是否可信，以及自动化建议采纳的行动是否适当会感到不愿定。
1988年7月，美国“文森斯”号（CG-49）号意外击落了一架从阿巴斯班达尔国际机场起飞的伊朗民航客机，缘故原由是该舰的宙斯盾系统曾为这架民航客机分配过一个跟踪标识符，但是这个跟踪标识符后来又分配给一架对方战斗机，AI系统根据这个跟踪标识符将劈面驶来的飞机描述为对方战斗机，人类操作员根据这一描述也认为这是对方战斗机，因此决定敕令向这架飞机开火。只管自动化水平已经有所提高，但如今人-机团队的薄弱性已经导致了最近几起高度自动化汽车（比如特斯拉）的撞毁事件、2017年美国海军“约翰•S•麦凯恩”号驱逐舰（DDG-56）海上相撞事件，以及2009年法航447航班在大泰西上空失落事项乱。
这凸显了人与机器之间的模式稠浊问题，尤其是当信息在繁芜系统中通报或呈现出糟糕的人为成分时，这种问题可能会加剧。另一个干系的问题是自动化的依赖，人类无法找出与机器办理方案相抵牾的信息。评估人-机团队在这两种情形下中的性能是至关主要的——无论目标是提高均匀性能还是在特定困难情形下的性能。
3.3 判断被质疑
有人可能会辩论说，高整体性能或特定运用程序的操作认证可以肃清这些担忧。但这也是一种过于简化的不雅观点。再次想象一下默里将军提出的目标场景：假设系统有98%的准确率，但演习有素的人在相同的测试场景中只有88%的准确率。对付沙场上真正的作战职员来说，当子弹和导弹飞来飞去，命悬一线时，作战职员是会质疑系统的判断，还是会直接扣动扳机？在危险紧急的情形下，作战职员会由于AI系统的上风而选择相信AI系统具有更好的性能吗？
4.军事运用悖论
自动化军事运用上的悖论
4.1 过度依赖人工智能将会使人类作战职员遭受“技能退化”
随着任务的自动化并阔别日常实践，人类作战职员将遭受所谓的“技能退化”。因此，默里将军假想的坦克系统作战职员，虽然他们能“创造”系统的缺点，但是他们并没有被授权这样做，他们被哀求必须在系统的帮助下实行任务。例如，这就像普通人利用智好手机中的环球定位系统进行导航一样，在利用环球定位系统以前，普通人自己寻路的技能本是家常便饭，但是环球定位系统进行导航后，普通人自己寻路的能力越来越差。这种过度依赖AI系统的征象同样也会影响到翱翔员、舰桥不雅观察团队等作战职员的专业技能。
4.2 人-机团队的影响力
只管人-机团队很薄弱，但是只要每个部分都分配了精确的功能，并供应足够的支持，可以大大超越人类或机器。以“半电子化国际象棋”为例，人类棋手在选择走法时利用打算机赞助决策，纵然很弱的棋手在没有帮助的情形下也能达到一个超越天下顶级象棋大师和天下顶级电脑象棋程序的水平。因此，人机一体化和关注与自动化干系的流程可能远比人类技能或智力更有影响力。
4.3 人工智能在军事上“不可独立”！
军方绝不能将人工智能运用作为“独立人工智能”。相反，人工智能只能是人类智力和组织能力的延伸。人工智能不是一个独立的代理，而是一个更为强大的工具，其运用于现有作战任务的特定方面。
5.多传感器运用 多传感器被寄希望用于办理人工智能的漏洞
5.1 多传感器感知提升AI能力
如果单独一个别系是薄弱的，那么一个领悟多种传感器的系统性能会更好吗？
多传感器数据输入便是指对基于视觉传感器的系统进行逻辑拓展（比如增加电磁频谱、音频、态势感知等传感器系统），从而可以增强AI系统可靠地创造、定位、跟踪和瞄准的能力，美国海军目前正在通过“红龙”练习来评估这种方法的有效性。利用不同领域的传感器网络不同方面的信息，就像人类利用多个感官获取周围信息一样。当一个人听到的（听觉传感器）与看到的（视觉传感器）不一样时，就会引起这个人的疑惑和重新审查，从而就有可能创造潜在发生的欺骗行为。同理，基于多传感器感知的AI系统也可以通过这种办法创造可能存在的欺骗行为。
5.2 最佳权衡仍需探索
然而，这种方法是否提高了对抗人工智能系统敌对掌握的鲁棒性，仍是一个悬而未决的问题。每个传感器的数据输入到一个自动化工具中仍旧受相同的对抗技能影响。采取多传感器会增加AI系统的繁芜性，而这种繁芜性则须要在以下两方面做出一种权衡。
一方面，多传感器使对手在欺骗系统方面的寻衅变得繁芜。另一方面，在一个模型中增加输入元素的数量和特色的繁芜性也会导致在数学上不可避免地增加敌对掌握的可能性（由于可能的欺骗方法的数量比有效输入的数量增加得更快）。须要更多的研究来找到最佳的权衡。然而，向多领域感知的转变当然不能打消欺骗或任何特定路子的可能性。
6.需把稳的原则 美国海军连续推进人工智能运用须要考虑的原则
只管有上述谈论，但不可否认的是，美国海军和更广泛的美国国防部运用急迫须要推进人工智能。然而，作战职员必须睁大眼睛，他们必须在何时、何地以及如何利用这些技能方面极其谨严。为了支持这种谨慎，他们该当考虑以下3个原则，以便在美国国防部运用中明智地和负任务地支配人工智能系统：
免责声明：本文转自学术plus，原作者宸熙。文章内容系原作者个人不雅观点，本公众年夜众号编译/转载仅为分享、传达不同不雅观点，如有任何异议，欢迎联系我们！
推举阅读 2021年天下前沿科技发展态势及2022年趋势展望——综述篇 2021年天下前沿科技发展态势总结及2022年趋势展望——信息篇 2021年天下前沿科技发展态势总结及2022年趋势展望——生物篇 2021年天下前沿科技发展态势总结及2022年趋势展望——能源篇 2021年天下前沿科技发展态势总结及2022年趋势展望——海洋篇 2021年天下前沿科技发展态势总结及2022年趋势展望——航空篇 2021年天下前沿科技发展态势总结及2022年趋势展望——航天篇
转自丨学术plus
作者丨宸熙
编辑丨郑实
研究所简介
国际技能经济研究所（IITE）成立于1985年11月，是从属于国务院发展研究中央的非营利性研究机构，紧张职能是研究我国经济、科技社会发展中的重大政策性、计策性、前瞻性问题，跟踪和剖析天下科技、经济发展态势，为中心和有关部委供应决策咨询做事。“环球技能舆图”为国际技能经济研究所官方微信账号，致力于向公众年夜众通报前沿技能资讯和科技创新洞见。
地址：北京市海淀区小南庄20号楼A座
电话：010-82635522
微信：iite_er