此外,在这封公开信中提及了AI或许会加剧现有的不平等征象,操纵和传播误导信息,以及可能无法掌握自主人工智能系统,终极可能威胁人类生存。

为这封公开信署名背书的有被誉为“人工智能教父”的杰弗里·辛顿(Geoffrey Hinton)、因首创性AI研究得到图灵奖的约书亚·本吉奥(Yoshua Bengio)和AI安全领域的学者斯图尔特·罗素(Stuart Russell)。

公开信表示,人工智能技能有潜力为人类带来前所未有的福祉,同时,这些技能会带来严厉寻衅,环球确当局和其他AI专家以及AI公司本身都已经意识到了这些风险。
然而,AI 公司出于财务利益的考虑,每每避免接管有效监管,“我们认为特殊设计的企业管理模式不敷以改变这一现状”。

公开信提到,AI公司节制着大量的内部信息,包括其系统的能力和局限性、保护方法的充分性,以及不同类型侵害的风险水平。
然而,目前他们与政府分享这些信息的任务较为有限,而且没有与民间社会分享的责任。

警告AI风险13位OpenAIGoogle 员工宣告公开信

上述公司中,现任和前任员工是为数不多的能够向公众卖力的人,然而,保密条款阻碍了这种忧虑的表达。

公开信提到,希望领先的AI 企业承诺遵照一些原则,包括承诺不会签订或实行任何禁止对公司的风险干系担忧进行负面评价或批评的协议,也不会因员工进行风险干系的批评而阻碍其既得经济利益做出报复。

联名信希望建立一个可验证的匿名机制,供现任和前任员工利用。

OpenAI 前员工丹尼尔·科泰洛 (Daniel Kokotajlo)是这次联名信公开署名职员中的一位。
他在社交平台发文表示,“我们中一些最近从 OpenAI 辞职的人聚拢在一起,哀求实验室对透明度作出更广泛的承诺。
”今年 4 月,丹尼尔从 OpenAI 辞职,个中的一个缘故原由便是对该公司在构建通用人工智能方面是否会采纳负任务的行为失落去了信心。

丹尼尔提到,AI系统不是普通的软件,它们是从大量数据中学习的人工神经网络。
关于可阐明性、对齐和掌握的科学文献正在迅速增多,但这些领域仍处于起步阶段。
虽然OpenAI 等实验室正在构建的系统能够带来巨大的好处。
但如果欠妥心,可能会在短期内造成不稳定,并在长期内造成灾害性后果。

丹尼尔表示,从OpenAI离开时,曾被哀求签署一份文件,个中包含一项不贬损条款,禁止他揭橥任何批评公司的话。
丹尼尔谢绝签署,并失落去既得股权。

在丹尼尔加入 OpenAI 时曾希望随着AI功能越来越强大,内部在安全研究方面投入更多资金,但 OpenAI 从未做出这一转变。
“人们意识到这一点后开始辞职,我不是第一个也不是末了一个辞职的人。
”丹尼尔说。

同一韶光,OpenAI前超级对齐部门成员利奥波德·阿申布伦纳(Leopold Aschenbrenner)也在公开采访中透露他被开除的真实缘故原由。
他给几位董事会成员分享了一份OpenAI安全备忘录,结果导致OpenAI管理层不满。
利奥波德在社交平台表示,到 2027 年实现 AGI 是极其有可能的,须要更严格的监管和更透明的机制,确保人工智能的安全发展。

本次公开信事宜是OpenAI近期面临的诸多危急中的一个。

在OpenAI的GPT-4o模型发布不久后,OpenAI原首席科学家伊利亚·苏茨克维(Ilya Sutskever)正式官宣离职。
不久后,OpenAI超级对齐团队联合卖力人杨·莱克(Jan Leike)也在推特上宣告离职。
他称OpenAI领导层关于公司核心优先事变的意见一贯不合,超级对齐团队过去几个月一贯在逆风航行,在提升模型安全性的道路上受到公司内部的重重阻碍,“(OpenAI)安全文化和安全流程已经让位给闪亮的产品”。

(本文来自第一财经)