最近,有外媒曝光了一件吓人的事:长期以来,以色列都在利用 人工智能“薰衣草”(Lavander)识别和打击加沙的目标,造成了大量平民伤亡。
常常看我们节目的小伙伴都知道,我们一贯在关注人工智能的发展,不但是技能上的进展,还有在法律和伦理上,人类对付AI的各种辩论和探索。
我们对付如何利用AI,远远没有形成共识。
各国对付AI的立法和管理,还在摸石头过河。
实在是没想到,竟然有一个国家,跳过了前面的所有环节,直接到了用AI杀人的阶段。
联合国秘书长古特雷斯就此揭橥声明,表示“深感不安”(deeply troubled);我只能说,用词过于委婉了。
本期《轩讲》,我们就来聊聊以色列用AI杀人这事,究竟有多恐怖。

本月初,以色列-巴勒斯坦地区的两家左翼媒体+972杂志和Local Call网站,发布了一份调查报告。
他们的采访了六名以色列情报官员。
这些人都参与了眼下这场加沙战役,而且是亲自参与了利用AI天生打击目标的过程。
当然了,他们的名字肯定是不能透露的,以色列军方也否认了他们的说法。
报告里的事到底有没有,我没法评价。
我只说两点:第一,报告逻辑自洽、细节丰富,而且确实阐明了以军在这场战役中的很多行为;第二,有的时候,谎话太离谱,反而可能是原形。

这个报告里讲了个什么故事呢?我给大家总结一下。
首先,以色列军方多年以前就在开拓可以甄别攻击目标的人工智能。
背后的动机大略直白:确认目标的事情,人也可以做,但效率太低。
在过去的战役中,要授权击杀单个人类目标,必须先给目标“定罪”。
军队肯定不会像法院做得那么细,也没那么讲究原则和程序,但交叉核对证据,证明“这个人”确实是“那个人”,还是要的。
确定目标后,再网络他的活动轨迹,制订击杀操持。
如果只想干掉哈马斯的高等成员,数量掌握在两位数,定罪和定位都不是难事。
但以色列不知足于此。
高等成员要杀,恒河沙数的低级成员也要杀。
这种五位数以上的击杀名单,情报职员肯定做不了,交给AI,那就省事多了。

那么这个AI由谁来开拓呢?这里就要提到以色列著名的8200部队了。
插播一小段背景先容啊。
8200是番号,这支部队正式的名称是中心情报搜集部队(Central Intelligence Gathering Unit),成立于1952年,可谓战功赫赫,比如在1967年第三次中东战役的开战首日,截获了埃及总统纳赛尔和约翰国王侯赛因的高保密专线,1985年截获了巴解领导人阿拉法特和“胆怯分子”的电话,等等。
除了“战绩”之外,8200的另一个招牌,便是它的成员了。
以色列是全民兵役制,不管男女,18岁都得服役。
而8200有提前摇人的特权,在不到18岁的所有以色列人里面,把智商最高、能力最强、最有潜力的五千号人挑出来,然后干嘛呢?PUA、特训、搞情报。
这里面还会选出千人旁边,专门开拓一些用于作战和情报网络的高科技“小玩意儿”,里面就包括了沙场内外利用的人工智能。

谷智轩用AI杀人以色列可能遥遥领先了

以色列8200部队,汇聚了电脑精英,卖力旗子暗记情报网络、密码解密、反特工、网络战、军事情报监视等情报事情

8200有一个数据科学与人工智能中央,中央卖力人在多个场合都提及他们正在开拓目标识别AI,而以色列媒体的报告就引用了他的很多说法。
比如说,这类AI的演习流程。
把已知的哈马斯和杰哈德成员名单喂给AI,利用一种叫做正样本未标注学习(Positive-unlabeled learning)的机器学习算法,让AI提取他们之间的共同特色。
接下来,AI就可以比对这些特色,对所有巴勒斯坦人打分,越是符合特色的,分数越高。
末了,情报职员会把样本按照分数排个序,确定下“及格线”,过线的,便是胆怯分子,可以杀。
这位卖力人在特拉维夫大学讲演的时候,还几次再三强调,AI只是起到赞助筛选的浸染,末了决定杀不杀的,还是有血有肉的人。

以色列国防军 8200 部队数据科学和人工智能中央指挥官2023年2月出席特拉维夫大学AI周

可真的到了实践的时候,就完备不是这么回事了。

咱们有句老话,叫“兵贵神速”。
AI给出一份名单,还要人来核验,这多摧残浪费蹂躏韶光?去年10月,哈马斯发动打击,杀了以色列1200人,绑架240人。
以色列报之以“铁剑行动”(Operation Iron Swords),军方火速决定,要把哈马斯打消干净,所有成员——不论他们高低贵贱,有多少军事代价——一个不留。
然后他们问了AI一个问题:薰衣草啊薰衣草,见告我谁是哈马斯?

这个名叫薰衣草的AI,天生了一份37000人旁边的名单。
8200的情报职员花了两周韶光,在名单里随机挑了几百个名字,检讨了一下是不是真的哈马斯,结论是,薰衣草的精确率达到了90%。
军方很满意,当即授权,就按照AI的名单来办。
程序上须要人工核验,判断是否击杀?没事,事情职员花上20秒,核验一下目标是男是女,男的杀了,女的留下——决定在我。
那还有10%的缺点率怎么办?统计偏差嘛。
谁让这些人具有“哈马斯特色”呢?谁让他们是哈马斯成员的亲戚,或者和哈马斯成员同名同姓、用同一个昵称,或者利用的二手手机,刚巧是一个哈马斯成员用过的?再说了,统计学肯定比人更靠谱。
要知道,很多以军士兵都有亲朋好友去世在哈马斯手里,他们很随意马虎做出不理性的事情,手里的“误杀”也不在少数。

以色列国防军 8200 部队数据科学和人工智能中央指挥官在特拉维夫大学的演讲幻灯片中透露“薰衣草”击杀目标的步骤:建立目标的特色,并根据目标进行排名

但问题是,统计学的那些规则、标准,也是人设计出来的。

什么才叫“哈马斯成员”呢?领哈马斯钱的人?还是不拿钱,但帮哈马斯干事的人?或者是帮了哈马斯,但没有实际危险的人?毕竟,哈马斯在加沙执政多年,手底下有一大帮子公务员,配武器的也不少。
还有,以前帮过哈马斯,现在不帮了,算不算?这些个定义,是可以人为调度的。
实际上,8200在演习AI的时候,利用了一个非常宽泛的定义,喂给AI的数据里面,至少包括了哈马斯政府海内安全部的雇员。

前面我们讲过,AI会根据一个人的“哈马斯特色”来打分,高于“及格线”的才会剖断是哈马斯成员。
技能职员就可以通过操控“及格线”,来放宽和收窄“哈马斯成员”的范围。
根据以色列官员的说法,在战役过程中,AI不断天生名单,以军照单杀人,但有时候,AI天生名单的速率,还跟不上以军杀人的速率。
以军须要更多的打击目标,就会把“及格线”调低。
这样,机器就会把很多新人加到名单上,比如民防职员和警察,他们有武装,是在帮哈马斯政府,凑合凑合,也能算是“哈马斯成员”。
3月尾的时候,《耶路撒冷邮报》发了篇宣布,说哈马斯彷佛越打越多了。
军方一贯估计有3万人,但现在,光是已经打去世和打伤的人加在一起都不止这个数,一下子还这里又出来一堆哈马斯,那里又打去世一堆哈马斯,数字根本对不上。
我以为,这里面估计也有“薰衣草”的锅,谁让它速率太慢,还须要靠人手动给名单扩容呢?

耶路撒冷邮报2024年3月27日宣布《震荡!
哈马斯的战士比以色列初期预设的多数千人》

这各类的不靠谱,以色列军方心知肚明,而且绝不在意。
统统都粉饰在了“战役”的名义之下。
他们辩解说:情报机构人力有限,不值得核查低级武装分子上摧残浪费蹂躏韶光;咱们是在打仗,没韶光给每个目标“定罪”,你得接管算法有偏差,接管杀错人的风险。

这话听着很有道理,和“宁肯错杀一万,不可放过一个”,有异曲同工之妙。
而且彷佛还要感谢AI,把错杀率,从万分之九千九百九十九,降到了百分之十,让大规模的“定点打消”成为可能。

这个逻辑的问题,我们等会儿再谈论。
退一万步讲,纵然接管了逻辑,还有个程度的问题。
“薰衣草”的缺点率有10%,不代表以色列每炸去世10个人,有九个是哈马斯。
很多信源的数据都显示,去世在以色列炮火下的平民,远超哈马斯武装分子的数量。
由于确定要杀谁之后,还有个怎么杀的问题,而这一步,以色列也是大幅仰仗AI的助力。

从目前网络到的信息看,除了“薰衣草”之外,明确在加沙沙场上涌现过的AI,至少还有三个。
第一个叫“福音”(The Gospel),它是专门和“薰衣草”打合营的。
“薰衣草”确定要杀谁,“福音”则把这些人身处的建筑物标记出来。
第二个叫“爸爸在哪儿”(Where's Daddy),它卖力利用各种监视系统跟踪目标,在对方进入房间的那一刻发出旗子暗记。
第三个叫“火力工厂”(Fire Factory),卖力打算弹药装载量,对数千个目标进行优先级排序,并将其分配给飞机和无人机,再制订出一个空袭韶光表。

我们在过去的节目里面讲过,“定点打消”的技能办法,一在信息采集和处理,二在精确和快速的打击技能。
这四个AI相互合营,覆盖了“定点打消”的全套流程,大幅提高了杀人的效率。
它们详细是怎么做的呢?首先,要确定一个得当的击杀地点。
在哪里杀人更随意马虎?当然是目标在家里的时候。
对AI来说,它们很随意马虎就能把目标和他的私人住宅关联起来。
实际上,加沙的每个人都被标记了对应的住宅,谁住在什么地方,全部在以军的数据库当中,在此根本上,追踪目标归家、离家的轨迹也不困难。
除此之外,在民宅里面,反侦察、反打击方法要薄弱许多,目标在家中鉴戒心也低,切实其实是空想的杀人场所。

但问题,这些民宅里面,每每不是只有一个人。
加沙人习气一大家子住在一起。
爹妈老婆孩子兄弟姐妹,亲朋好友、左邻右舍,一发炮弹下去,就整整洁齐的了。

以军攻击民宅的情由有很多,比如哈马斯就喜好把窝点藏在民用举动步伐当中,拿平民当挡箭牌,医院、清真寺、学校、联合国举动步伐,大概率都有哈马斯。
但这阐明不了一个征象:为什么以家庭为单位的伤亡,占比特殊高?开战45天的时候,联合国机构公布过一个数据:当时巴勒斯坦方面去世亡11078人,有501个家庭,去世亡人数大于6人,312个家庭,去世亡人数超过10人,至少有6120人,也便是一半以上,属于825个家庭。

联合国人性主义事务折衷厅12月29日关于加沙-以色列危急伤亡情形的总结报告中显示,巴勒斯坦地区至少有6120人的去世亡以825个家庭的形式产生

这种以家庭为单位的伤亡模式,确实呼应了以色列情报官员的说法:以军在故意识地攻击哈马斯成员的私宅。
当然了,这也不算新闻,2014年以色列对加沙的空袭,也做了同样的事情。
那次打击当中,共造成了超过2200名巴勒斯坦人的去世亡,个中至少有70次针对私人住宅的打击,造成606人去世亡,比例是27%。
而这次提高到一半以上,估计便是AI的“助攻”了。

“薰衣草”生产名单的速率,那就不用说了。
“爸爸在哪儿”可以同时跟踪数千个目标,效率也是非同一般。
再加上“火力工厂”,不但优化了空袭的效率,而且还大幅降落了弹药的本钱。
根据美国情报部门的估计,以色列空军在加沙利用的弹药里面,有45%是非制导炸弹,也叫“傻弹”(dumb dombs)。
它们比制导炸弹便宜很多,价格要差个几倍,但命中精确度也低,会造成大量的“附带危害”。
但有了AI的帮助之后,命中的问题就办理了一大半。
比如说,如果他们创造目标住的是高层建筑,就不打了,由于须要用分外的精确制导炸弹来打穿楼板。
那玩意儿太贵了,不值得摧残浪费蹂躏在低级成员身上。
但如果这些哈马斯住在平房里面,那么只要在他们回家后扔个“傻弹”就行了,直接把屋子给你平了,不存在什么命中问题。
几千美金换一个人头,哪怕是低级成员,效费比也可以接管。

然而,命中问题“办理”了,“附带危害”的问题怎么办呢?

以军设计AI的时候,还考虑过这个问题。
AI在做空袭方案的时候,“附带危害”也是一个参数。
它会根据建筑物的大小以及登记的居民名单,打算战前居住在此的平民人数,再根据撤离的居民比例,来估算一个建筑物内的即时人数,再做相应的方案。
比如说,一栋屋子,名单上显示战前住了10个人,根据手机旗子暗记测算,小区撤了一半人,那么AI就认为,屋子里住了5个人。
有时候,算出来的人数,乃至不是整数。

我们光听就知道,这种估算有多不靠谱。
战前和战时,根本是两个观点。
根据天下银行的数据,加沙地带超过60%的房屋和80%的商业举动步伐都已经被摧毁,险些全部人口流落失落所,这大幅削弱了军队数据库的准确性和AI自动标记住宅的能力。
很多时候,战役期间居住的,完备就不是战前的那批人,两者之间也没什么联系。
有时候,以军炸了一栋屋子,根本不知道房里是好几户人家躲在一起的。
在以前的战役里面,情报职员会花大量的韶光监视房屋、核实人数,事后还有一道炸弹危害评估程序(Bomb Damage Assessment),简称BDA,检讨目标是否去世亡,以及造成了多少平民去世亡。
这一次,为了节省韶光,事前事后的步骤,全都省略了,统统都交给了AI和统计学。
情报职员对付会去世多少,去世了多少人,里面包不包括目标,可谓一概不知。
他们唯一知道的,便是空军见告他们,屋子被炸了,然后他们再见告军队,去炸更多的屋子。

不过,有一个问题,依然没交给统计学,便是许可“附带危害”的大小。
军方会事先给一个授权,杀一个哈马斯,许可多少平民陪葬,这个数字叫非战斗职员伤亡值,简称NCV(Non-combatant Casualty Value)。
AI在打算杀谁、怎么杀的时候,就会根据这个标准来。
NCV是浮动的,军事代价越高,NCV越大——这因此军自己承认的,对高等哈马斯成员,这个数字可以达到三位数。
军队有一套大致的标准,一个旅长配多少人,一个营长配多少人,还会考虑到详细的情形。
比如说哈马斯卡桑旅的指挥官艾曼·诺法尔(Ayman Nofal),以军在击杀他的时候,得到的位置情报不是很精确,军方授权的人数是300人。
比拟一下,当年美军击杀本·拉登,授权的NCV“只有”30。

路透社2023年10月17日宣布,以色列空袭加沙,击杀了哈马斯军事指挥官艾曼·诺法尔

对付低级哈马斯成员,这个标准还要“弹性”一点。
去年10月7日的空袭之后,以军陷入了歇斯底里的状态,只要目标是哈马斯,险些任何“附带危害”都可以得到批准。
反正炸便是了,他们只在乎炸的目标够不足多。
有时候,他们知道目标在一栋里面,然后就炸平了四栋楼。
全体军队与其说是在作战,还不如说是在泄愤。
之后,军队的行为轻微理性了一些,NCV被掌握在了15人旁边,也便是杀一个普通的哈马斯,可以杀15个平民。
有段韶光降到5人,但军方创造,这让空袭没法进行,由于只要目标的家人都在家,他们就没法炸屋子,以是又把上限提了上去。
再后来,以军整体上减小了攻击低级哈马斯的频率。
这客不雅观上降落了“附带危害”,却不是由于以军想降落“附带危害”,而是考虑到弹药经济性。
以色列正准备在北部地区和黎巴嫩真主党动手,这开头几波花费的炸弹,委实有点多了。

由此可见,人工智能赞助下的“自动化”杀人,并没有什么“理性”的上风。
AI对付人类干坏事,没有什么限定和纠正浸染。
相反,它只是让屠戮,变得更有效率。
它降落了杀人的经济和道德本钱,帮助人类在有限的资源和可承受的道德压力下,杀掉尽可能多的目标。
“薰衣草”天生名单,“福音”标记住宅,低级别的情报职员象征性地看一看,复制粘贴到“爸爸在哪儿”,实行目标追踪,“火力工厂”据此分配弹药,制订空袭操持,在目标回家的那一刻,由空军完成击杀。
除了末了的击杀外,全体流程,都实现了高度的自动化,而这“末了一步”,可能在不久的将来,也可以由自动化的武器来完成。

我们之前做过一期节目,叫“定点打消”,让网上一大群“乌友”破了大防,直到本日还陷在他们的逻辑谬误中不能自拔,挺可怜的。
我们再来复习一下干系专业知识:“定点打消”,Targeted Killing,有时候也叫“斩首行动”,Decapitation Strike,即通过消灭一个组织中的关键人物,来对组织造成毁坏。
现在,“定点打消”和“斩首”之间,不能再划等号,它有了一个新分支,叫“Broad Hunting”,大范围猎杀。
从沙场表现来看,这种同时针对数万目标的大规模“定点打消”,已经成为了一种可行的、且经由实践运用的战术。

这是好是坏,尚有争议。

支持的人说:它好过无差别打击。
这次加沙战役持续了六个月,巴勒斯坦方面,伤亡总数超11万;哈马斯武装分子,满打满算有三万多,占比达到30%。
和历史上的各种“屠城”比较,是不是要好上很多?AI是在降落“错杀率”啊!

反对的人说:除了“错杀率”,还有“错杀数”。
“大范围猎杀”的运用,实际上大幅增加了攻击次数,推高了平民的伤亡人数。
而且,70%的错杀率,你以为可以接管吗?

然后,支持的人又会回嘴:如果把技能改进一下,把错杀率降到一半以下,你还会这么说嘛?降到10%以下,1%以下呢?百分之0.000001呢?什么比例,是可以接管的呢?谁能担保不杀错一个?你说人命无价,杀错一个都弗成?我们是在打仗,国家利益为重,国民的安全为重。
算个总账,“错杀”带来的丢失,小于“杀对”带来的利益就可以了。

末了那句话,我直接引用了以色列国防军对“薰衣草”问题的回答。

以色列国防军回应在加沙地区利用“薰衣草”:算个总账,“错杀”带来的丢失小于“杀对”带来的利益就可以了

哲学上的论辩,很难有什么结果。
但有一点,我想大家是有共识的:为了清剿三万多名哈马斯,超过2.4万名巴勒斯坦妇女和儿童去世亡,11万人去世伤,110万人食不果腹,170万人流落失落所,这超过了绝大部分人的道德红线,但凡是有点良知的人,都无法接管。
如果没有AI,可能伤亡会更大,但纵然有了AI,后果依然如此严重。

以是说,问题并不出在AI身上,该为此卖力的,也并非人工智能。
战役,是高尚者的墓志铭,卑鄙者的通畅证。
沙场之上,以国之名,滔天的恶行也能戴上正义的光环。
如果杀错人之后,唯一的后果是摧残浪费蹂躏了弹药,那么AI存在的意义,也只能是减少了弹药的摧残浪费蹂躏。

从历史履历来看,把人工智能技能引入军事作战是不可避免的。
联合国主持了10年的会谈,希望对AI在沙场的角色做一点限定,让各国可以更加“负任务”地开拓和利用军用AI,但目前并没有多少成果。
至少还没有一个国际公约规定,当人工智能判断缺点时,谁该当对平民的伤亡和战役的意外升级卖力,也没有一个有效机制,防止AI被有心之人滥用,成为打消异己、剥削“他者”的工具。
去年2月,第一届“环球军事领域负任务的人工智能峰会”在荷兰举行,中国和美国等60多个国家参加,并签署了《关于军事领域负任务利用人工智能的行动倡议》。
以色列是唯一没有签署的与会国家。

以是,巴勒斯坦成千上万条被AI“错杀”的人命,到底该由谁来卖力呢?

本文系不雅观察者网独家稿件,文章内容纯属作者个人不雅观点,不代表平台不雅观点,未经授权,不得转载,否则将深究法律任务。
关注不雅观察者网微信guanchacn,逐日阅读意见意义文章。