量子位 出品 | "大众年夜众号 QbitAI
谈到人工智能（AI）总会有人以为胆怯。
到底怕在何处？你有证据么？
巧了。美国问答网站Quora上就有这么一个问题：到目前为止，AI做过最恐怖的事情是什么？
套用2000年高考全国卷的作文题：答案是丰富多彩的。量子位从中严选╮(￣▽￣)╭了一些有趣的回答。
个中有些得到高票赞许，有些支持者寥寥。
开始~
Mike Sellers企业家，游戏设计师，AI研究员
虚拟食人族算么？
十几年前，我为DARPA做一些AI方面的研究。当时我们在探索如何让智能体（Agent）学会社交互动。在个中一个仿照中，我们创建了两个智能体，很自然的命名为：亚当和夏娃。它们知道怎么进食，但不知道该吃什么。
我们给了一颗苹果树，它们创造吃苹果很愉快。它们还考试测验过吃树、吃屋子等等，不过吃这些都没用。
实在这个别系里还有一个智能体，名叫斯坦，它不是很善于社交，以是常常独处。
有一次，亚当和夏娃正在吃苹果，但一个bug涌现了：它俩没吃饱，但是苹果没了。这时斯坦正在附近闲逛，以是亚当和夏娃就把饥饿感与斯坦联系在一起。不久之后，当苹果再次吃完的时候，斯坦被当成了食品。
亚当和夏娃都要咬了斯坦一口。
默认情形下，每个智能体的质量是1.0，每咬一口就减少0.5，以是两口下去，斯坦就变成了0.0。斯坦消逝了。可能它是虚拟同类相残的第一个受害者。
△ 4.7k 赞
Nitin Gopi好奇
打算机程序 vs 俄罗斯方块
不知道你们听过这件事没，很多人以为恐怖。
CMU博士Tom Murphy创造了一个AI，能通过不雅观察得分来学会玩NES（实在便是任天国红白机）游戏。事理很大略，做得对就得分，然后不断考试测验。这个AI学会了很多打游戏的技巧和策略，乃至一些人类都不知道的bug。
这个AI叫做“NES游戏自动化技能”，险些可以搞定所有的游戏。
Tom让这个程序玩俄罗斯方块。这个游戏不用多先容了，大略却又很有寻衅。方块的涌现是随机的，以是AI也无法很好的进行长远方案。
在一次玩俄罗斯方块时，眼看游戏就要结束，AI做了一个令人不寒而栗的举动：它没有坐等game over，而是按下了停息按钮。一贯停息不动了。
按照Tom的阐明，AI认为当时的情形下，唯一的应对举措便是不玩了。没错，按下停息键不再连续，那局永久也不会输。这有段视频：
不知怎的，这件事让我模糊的不安。
△ 1.7k 赞
Vasily Konovalov软件工程师，ML/NLP研究员
这个故事发生在不久之前。
“Facebook的工程师错愕失落措，赶紧拔掉了AI的电源插头”
“人类真的创造出弗兰肯斯坦？”
上面的引用，都用来描述Facebook开拓的会谈机器人。这个研究是想开拓一种能以自然措辞进行多问题会谈的AI系统。对话系统的繁芜架构被经由演习的RNN网络取代，对话策略的演习采取了强化学习。
不过在这个AI考试测验相互学习的过程中，产生了一些看起来“令人不寒而栗”的对话。
（传送门：让AI“创造了措辞”的Facebook研究员怒怼媒体宣布“不负任务”）
△ 143 赞
Sriraman Madhavan斯坦福学统计，Facebook演习
Target超市比父母更早创造了一名有身少年。
一位愤怒的父亲走进Target超市要见经理。“你们怎么给我女儿寄这个！
”他吼道“她还是高中生，你们寄送婴儿用品的优惠券？鼓励她有身？”
几天之后。“我跟女儿谈了”，这位父亲说“家里有些情形我自己都没把稳到。他的预产期在八月份。我欠你们一个道歉”。
事情是这样的。Target超市有一个别系，能根据每位顾客的购物清单，推测他们的“有身指数”。这个别系可以比较精准的估算预产期，以便Target寄送特定阶段的优惠券。
这件事发生在2012年，现在也谈不上什么最前辈的AI。但它仍是一个令人感到恐怖的机器学习模型。
△ 7k 赞
Shay ZykovaESL西席，来自夏威夷住在俄罗斯
比方，杀去世竞争对手。
这是我听来的故事，但我起誓是真事。美国的大学（该当是MIT）举办了一场机器人大赛。参赛团队须要设计一个机器人，任务是把羊（也是机器的）抓到自己的羊圈里。机器人须要自主思考并实行策略，抓羊最多的才能赢得比赛。
比赛开始，机器人开始猖獗的捉羊。但是，有个机器人只捉了一只羊，就关上了羊圈的门。随后，恐怖的事情发生了。这个机器人开始摧毁其他的参赛对手。它的策略是，根本不用捉羊，把对手消灭掉就赢了。
细思极恐……
△ 407 赞
Arun市场
Salty Dog 502（咸狗502）
诺斯洛普·格鲁门公司（Northrop Grumman）曾经创造了一个很棒的无人机，代号X-47B（也便是Salty Dog 502），2011年2月首飞。与其他无人机不同，这架无人机的翱翔不怎么须要人类干预，紧张是AI系统自己决定。
X-47B成为历史上第一架成功在航母上着陆的无人机，这不是一件易事。
不过就在测试期间，故意思的事情发生了。两次成功的起降之后，Salty Dog 502加满了油然后连续测试，准备进行第三次着陆。统统看起来都很正常，人们都在美国海军布什号航母上等待着。然而意外发生了。
无人机没有在舰上着陆，而是选择降落在附近的Wallops岛空军基地。在AI看来，这个地点降落可能是更安全的选择。也便是说，这个AI认为自己的决定比人类的指令优先级更高。在我看来，这是迄今为止最靠近天网的东西。
大概我们该听伊隆·马斯克的话，要不然就太迟了。
这一事宜之后，美国海军决定停滞帮助X-47B的研发。
△ 283 赞
Sara Manar我以为，该当是2010年的华尔街惨案。
当时一个交易员利用了欺骗算法，伪装出悲观的市场感情，挂出数千笔卖单，然后经由数量更多的修正，末了取消。这一系列操作，被认为背后得到了2亿美元的资金支持。
而这种高频交易算法，也引发了一系列后续的连锁反应：ETF和股指掉头向下，涌现大幅下滑的态势，30分钟之内，大约1万亿美元的市值蒸发了。
只管这种算法已经被仔细的研究过，但是至于如何精确节制算法引发的连锁反应轨迹，以及如何防止类似情形再现方面，人类仍旧无能为力。由于全体的设置和底层算法太繁芜，以至于没办法被理解。
高频批量交易算法，可以成为聚拢大量财富的工具，也能成为具有大规模毁灭性的武器，这是一件恐怖的事情。
△ 28 赞
Matthew Moore退休码农
Gay-dar：神经网络通过面部图片段定性取向的准确性超过人类。准确的说，研究职员有一个令人不寒而栗的想法，便是可以更准确的演习神经网络来识别同性恋。
（宣布传送门：恐怖！
斯坦福AI看脸即知性取向）
我以为这是不该做的研究。由于有些政府还将同性恋视为犯罪行为，以是这个研究有可能带来远远超出预想的危险。即便这个代码不被公布也无济于事，由于证明了这个方法是有效的。重复这个事情可能并不困难。
△ 15赞
Daniel Gravel你看过电影《闭幕者》么？一个反乌托邦的未来，有个叫天网的AI决定对人类发起战役，然后施瓦辛格前来拜访。
美国国家安全局（NSA）也有一个名叫天网（SkyNet）的程序。用场是通过元数据追踪疑似胆怯分子：谁呼叫了谁，从哪里，在何时等。这些数据被用来辅导无人机发起攻击。
编辑：
我被哀求解释恐怖在哪里……好吧，这可能是NSA正在好心办坏事，试图重现电影《闭幕者》里的一幕。
除了天网，还有一个名为MonsterMind的程序。天网识别目标，MonsterMind指挥无人机履行攻击。全体过程都是自动化。
△ 42赞
好啦，本日先到这里，安歇、安歇一下。如果你有什么“恐怖”的经历，欢迎留言分享给大家~
— 完 —
诚挚招聘
量子位正在招募编辑/，事情地点在北京中关村落。期待有才华、有激情亲切的同学加入我们！
干系细节，请在量子位公众号(QbitAI)对话界面，回答“招聘”两个字。
量子位 QbitAI
վ'ᴗ' ի 追踪AI技能和产品新动态