一个多月前，图灵奖得主约书亚·本吉奥、杰弗里·辛顿、姚期智等近二十位中外专家，就曾在北京联合签署了由智源研究院发起的《北京AI安全国际共识》（以下简称北京共识），涉及人工智能“风险红线”和“路线”两大板块。
这是就人工智能安全达成的首份专家共识，未来也将成为政府间对话的主要参考。
图灵奖得主约书亚·本吉奥、杰弗里·辛顿、姚期智等近二十位中外专家，曾在北京联合签署了由智源研究院发起的《北京AI安全国际共识》，为超级人工智能划定红线。（图片来源：受访者供图）
中美两国政府为何如此关注人工智能？当古人工智能安全面临着哪些寻衅？南方周末近日采访了智源研究院院长王仲远。
王仲远曾在微软研究院、美团、快手任职，卖力人工智能干系业务。在他看来，一个属于AGI（通用人工智能）的大时期正在靠近，而智源研究院是离大时期最近的地方。
智源研究院是成立于 2018 年的一家非营利机构，也是海内最早的大模型研究机构，为这一波海内子工智能大模型家当的发展作出了独特的贡献，炙手可热的 OpenAI CEO 山姆·奥特曼在中国唯一一次公开演讲便是出席2023年的智源大会。
当务之急是进行体系化的设计
南方周末：智源发起北京共识的背景是什么？
王仲远：智源是海内最早做大模型研究的，一开始就非常武断地选择了大模型这条技能路线，认知上我们是领先的。
智源是一个非营利性的第三方机构，本身也承担着这样一个任务、义务，有责任让政府、社会意识到这种风险。
形成监管政策的办法有两种，一是威胁还没有本色发生之前，越来越多技能专家开始呼吁，逐渐影响政府制订政策。另一种是，现实威胁实实在在发生之后，政府也会迅速行动。我们希望匆匆成第一条路而不是第二条。
南方周末：北京共识中，不少国外顶尖专家都参与了签署，他们为什么会认可“北京共识”？
王仲远：过往这5年，他们很认可智源的学术水平、学术生态的代表性，以及在中国AI领域的代表性。大家也都有充分共识，AI安全须要国际间互助，可能智源是与中国建立互助最好的选择。
南方周末：北京共识形成的过程是怎么样的？大家是怎么谈论的？
王仲远：不是先有一个共识，再让大家签署，参会的专家基于各自的技能背景，提出主见，这个持续两天的闭门谈论会中，有技能的分享、家当界的分享、学术界的分享，还进行了分组谈论，包括末了一天晚上，还有和科技部、北京市政府的对话。
为了让大家能够充分谈论，也采取了国际对话的一些规则，大家充分揭橥不雅观点，这些不雅观点都不进行任何记录，也不会对外透露详细某个人的发言内容，便是为了让大家能充分表达见地。
会议是从2023年末开始方案的，还仅仅只是一个开始，未来还会有一些后续谈论。
南方周末：会议上大家交手的焦点是什么？
王仲远：要不要设立一些AI安全基金？到底该当把控源头，还是把控场景？把控源头的意思是，就盯着那几个真正最顶尖有可能做出大模型的一些机构，从源头上去做好对齐，还是在场景的限定上，当它运用到不同的场景中再来限定？还有是否要禁止自身复制和更新？这次会议并不是所有参加的专家末了都签署了共识。
南方周末：你认为当务之急是什么？
王仲远：现在缺少的是一个体系化的设计，无人驾驶已经有明确的安全等级分层，分为四个等级，人工智能也该当要分等级制订对应的监管哀求，这还没有形成共识。
南方周末：共识中提到，不许可自身复制或改进，是不是会阻碍AGI的到来？
王仲远：目前设定的这些红线，我认为不会阻碍AGI的到来，只是希望把AGI关在笼子里。如果它具备了自主复制的能力，像病毒一样，总能自我复制，我们就没法完备消灭它。数字智能比生物智能有一个很大的上风，也便是它的复制能力。
南方周末：共识可以起到约束浸染吗？
王仲远：这只是一个开始，永久都须要先有人呼吁，越来越多的人意识到可能的风险，才会形成更广泛的谈论，之后可能会产生更明确确当局管控规则。没有这第一步，后面的也无从谈起。
南方周末：AI给人类带来的威胁看来是在劫难逃？
王仲远：我对此持谨慎乐不雅观的态度，中美两国元首会商都主动地提及了AI安全谈论。2023年11月，英国政府也做过一次AI安全的环球谈论。
大概在真正的危急到来之前，就会有一些事实上的进展。但是这些进展是否一定能阻挡最顶尖人工智能导致的胆怯威胁的爆发，可能也不一定，但有总比没有好。
当巨大的侵害发生之后，确实会加速对付安全共识的形成和落地，但我们期望不要到那一天。
南方周末：如果人工智能的威胁到来了，人类真的可以阻挡吗？
王仲远：现阶段还远没有到局势失落控的阶段，还是有大把的机会。人类历史上多次处理过这种重大危急，包括核武器的管控，大规模杀伤性武器的管控。
智源研究院院长王仲远。（图片来源：受访者供图）
再用四五年，AGI就会出身
南方周末：数字智能是不是一定会超过生物智能？
王仲远：杰弗里·辛顿被尊称为“深度学习教父”，过去十余年人工智能大发展的理论根本就来自他。这次北京AI安全对话的会议上，他说，2023年是他一次重大的不雅观念转变，想清楚了为什么数字智能一定会超越生物智能。
给出的情由是，人类的学习效率是很低的，每个人都是从头学习，但是他学习了十几年的大脑参数，没法复制给其余一个人，每个人都得从头学。
不考虑能耗，机器现在用几万张卡，演习一个几万亿参数的大模型，这个机器大脑是可以无限制复制。效率上来讲，比人类是高太多了，并且它还可以持续进化。
从目前看，机器智能的scaling law还没有失落效，还在持续进化，未来算力能源逐步会成为它的瓶颈。
南方周末：过去这一年，你是一种什么样的心情？
王仲远：从2023年开始，我有非常强烈的预感，AGI正在加速到来。过去，我以为要实现科幻片里特殊聪明的人工智能的场景还有四五十年，现在觉得可能再用四五年AGI就会出身。
有一种强烈的紧迫感，我相信它会推动人类科技的巨大进步，也疑惑人工智能达到乃至超越人类的智商水平之后到底意味着什么。
南方周末：这种预感来自于哪里？
王仲远：根据生物学家的估算，人类大脑的参数是100万亿到1000万亿的神经突触。2018年比较强的模型，大概是1亿参数到3亿的参数，跟人类大脑参数差100万倍。2020年GPT3是1750亿，相差1000倍。GPT4是1.8万亿参数，相差100倍。
GPT5很可能比GPT4又大了10倍，可能和人类差距就 10 倍，还有传言OpenAI的秘密项目Q是125万亿，已经和人类大脑的参数相称了。
Sora的涌现也是一个划时期的时候，它真正的代价不是笔墨天生精美的视频，而是解释大模型可能具备了理解三维天下的能力。换句话说，Sora初步展现了天下模型上的scaling law。
北京AI安全对话上，专家们也都有类似的判断，都认为AGI未来5-20年内会到来。
南方周末：你对AGI的定义是什么？
王仲远：通用人工智能该当有两个特点，一定是通用的，能跨领域利用；二是在各个领域普遍超过人类。
南方周末：大模型一定能通往AGI吗？
王仲远：之前技能路线上是有争议的。比如，为什么机器要读几百万张图片之后才能分清楚猫和狗，而人类小时候只须要几张图片就会识别了。
从ChatGPT4展现出来的能力看，这个问题虽然依然存在，但不主要了，主要的是机器已经展现出了它的逻辑推理能力，既所谓的 scaling law。
科技考验最主要的标准，便是看能不能复现。百模大战中，至少有小几十家的模型复现 scaling law，并且展现出了相称强的能力。越来越多的复现，已经证明这条路是可行的，路径越来越清晰了。
低性能的模型支撑不起大的运用
南方周末：为什么大模型至今还没有涌现征象级运用？
王仲远：低性能的模型支撑不起大的运用，现在海内的大模型还没有到“高中毕业”，纵然未来“本科毕业”，真正要影响一个家当，还有工程化、效率、性能、性价比等问题。企业首先会考虑本钱，投入产出比怎么样。
实际上，大模型现在在提升效率方面是非常显著的，设计行业、广告行业已经用得很广泛，许多大厂内部的很多业务场景已经开始基于AI进行改造，可能C端用户的感知会有一个滞后性。
南方周末：大模型的安全管控，紧张的内容是什么？
王仲远：在人类的掌控之下，对齐人类的代价不雅观，天生的内容符合人类的代价不雅观和法律框架。
南方周末：技能上可以做到吗？
王仲远：大部分可以做到的，不能担保百分之百。天生式大模型，整体上还是一个黑盒。哪些数据能产生什么样的效果，能建立起什么样的枷锁，本身也是一个科学研究问题。
上一次的北京AI安全峰会上，我们就呼吁，不仅仅是法律条文进行限定，技能上也是须要去研究的，至少投入不少于30%的资金去做安全研究，确保它在安全可控的范围之内。
南方周末：之前智源研究院的黄铁军理事长提出，如果 AI 智力远远超过人类，成了大象，人类宛如蚂蚁，大象不会想着去踩去世蚂蚁。你怎么看？
王仲远：黄老师的这个不雅观点非常故意思，我也相称程度上赞许。不过如果当AI真成为大象的时候，大概不屑于踩蚂蚁，但不代表不会误伤蚂蚁。人类不会故意去踩蚂蚁，但可能也不那么在意蚂蚁的生命。至少现在它还没发展为大象，我们肯定不肯望变成蚂蚁。
南方周末：过去这一年大模型的发展过程当中，可以称为安全威胁的事情多不多？
王仲远：每天数以百万计的网络攻击事宜在发生，绝大部分人是无感的。AI安全也一样，大家感知到的，始终是极少数的极度的案例，绝大多数是在水面下。我们要避免的是对人类造成重大灾害的AI安全事宜。
南方周末：人工智能给人类带来的重大灾害可能是什么样子的？
王仲远：人类一定会授予人工智能掌握权，一旦它掌握了人类的关键性根本举动步伐，风险就不可控了。大概有人会说，大不了把电源拔了。有了掌握权，断电还会有效吗？会不会隐蔽起来欺骗我们？这些都是不可预测的。
我认为对人类的重大的侵害，一定是类似于胆怯打击。如果未来几十年，我们没有看到人工智能发动的胆怯打击，那便是我们的胜利。
如果到了那一天，大家会说你们这些做研究、做技能的便是骇人听闻，那也是我们的一种幸运。怕就怕要等到真的发生了胆怯打击事宜，人们才反思，该当对顶尖人工智能进行核武器般的管控。
南方周末：现在大模型连高中都没有毕业，就去评论辩论说它会不会发动胆怯打击，是不是有点为时过早？
王仲远：从风险预防和掌握的意识来讲不早，我们已经看到了非常现实的威胁。如果在2023年之前，我以为还值得辩论，但现阶段这不是一个须要辩论的问题，而是必须要面对、快马加鞭去办理的问题。
南方周末：这是人对未知的恐怖吗？
王仲远：对一个确定会发生的未知的恐怖，你知道它一定会有威胁，但是你不知道那种威胁是什么。
南方周末：相较于美国，中国鲜少有AI方面的争议？
王仲远：可能目前我们还处在一个追赶的阶段，模型的能力还没有到要谈论失落控的阶段。
光靠市场的力量可能还不足
南方周末：过去这一年，中美之间大模型的差距是拉大了还是缩小了？
王仲远：短期之内差距会拉大，这里有很多现实的缘故原由，长期看中国会遇上来的。智源对国内外百余款大模型进行了评测，目前测试的结果是，海内最强的大模型超过了GPT3.5，但还没有到达GPT4.0 。
南方周末：为什么间隔拉大了？
王仲远：短期有一些算力方面现实的困难，也有机制的问题。此外，未来最顶尖大模型的研发本钱可能须要数百亿美元乃至上千亿美元，光靠市场的力量可能还不足。
不过，新中国成立时一穷二白，没有人才，没经济实力，都能研发出“两弹一星”。如今市场经济这么多年，培养了一大批AI人才，有这么精良的企业，有这么强的基建能力，有很好的系统编制制度的上风，一定能奋起直追。
南方周末：如果未来不得反面AI 共存，我们该若何去教诲下一代？
王仲远：对外交流的时候，学校老师总会问我，教诲到底该当怎么改革？应不应该教小朋友奥数？到底还需不须要教他们编程？很坦诚地讲，我现在依然在辅导我们家孩子学c++，只管我非常确定普通程序员被取代的概率会大于蓝领工人被取代的概率。
编程还要不要学，我也没有答案，可能我会以为磨炼的大概不是他编程的能力，而是他逻辑思维的能力。
我也会和我的孩子讲我正在做的一些事情，也没有刻意去培养他跟AI相处，由于我还看不透未来的AI会用什么办法存在。也有可能最顶尖的AI将来会被管控起来，不建议进入到普通人的天下。
现在仍旧是未知的，我只知道这是一个技能革命的时期，这也是为什么我以为必须参与个中。当我看到风险要提早预警，当我看到能够为人类创造出更大的代价，要努力推一把。
南方周末：对智源的未来，你有自己的方案吗？
王仲远：人工智能发展有三个要素及两大支撑。三个要素是大数据、大算力和强算法，两大支撑是开源和开放。智源会坚持开源开放的路线，这是我们的主要义务。
2023年以来我们发布了五十多个开源的模型，环球总下载量目前已经超过3000万次了，位居中国人工智能科研机构第一。
智源也是一个开放互助的平台，拥有一流的AI学术生态。我希望连续保持智源在 AI学术生态上的上风，连续搭建好中国乃至全天下在AI学术互换上的桥梁。
此外我们会连续在前沿的研究，包括向多模态大模型、具身智能的方向持续发力，在AI安全方面持续从技能研究上去布局。
作为一个非营利性的一个机构，我们也有一定的历史义务，这个义务便是我们做好公共技能的支撑，做事更多的企业，让更多的老百姓能够理解AI的进展。
南方周末 罗欢欢
责编 顾策