AI（人工智能）一键换脸、AI克隆声音、AI钓鱼邮件......近日两起诱骗金额上百万元的案件引起人们关注。AI技能快速发展，寻衅也逐渐显现。
AI让诱骗门槛大幅降落
近日，内蒙古包头警方通报一起利用AI履行诱骗的案件。在该案件中，福州市某公法律人代表郭师长西席10分钟内被骗430万元。据通报，骗子通过AI换脸和拟声技能，佯装熟人履行诱骗。
今年4月份，在安徽安庆经开区发生一起AI换脸诱骗案中，诱骗分子利用一段9秒钟的智能AI换脸视频佯装“熟人”，让受害人放松当心被骗走245万元。
AI诱骗是利用AI技能模拟、假造他人的声音、面孔、视频等信息，进行欺骗、敲诈、打单等犯罪活动。早在2019年外媒就宣布过诱骗犯利用深度假造语音技能伪装英国某能源公司高管诱骗24万多美元的案例。
中国信息通信研究院云打算与大数据研究所内容科技部研究员呼娜英对国是直通车表示，当前，随着深度学习等AI技能的成熟，AI诱骗表示出诱骗手段愈发多样、诱骗门槛大幅降落、辨别难度不断加大等特点。
赛迪研究院网络安全研究所所长刘权对国是直通车表示，随着AIGC（AIgeneratedcontent，人工智能天生内容）技能的大爆发，普通人也能打仗各种前辈天生工具，制作出难以识别的高质量合成内容，敲诈手段愈发多样，使得戒备AI诱骗的难度不断提升。
在网上，换脸软件、换声软件既有免费也有付费，不仅能照片换脸，而且能视频换脸。高逼真的换脸付费软件代价仅在几百元至几千元之间，有的乃至还推出了包月做事。
“基于公开拓布的数据信息、照片、视频，利用深度合成等AI技能天生高度逼真的图像、视频和语音等内容，这些以假乱真的虚假信息更易取得对方信赖，从而使得受害者放松当心。”刘权表示。
奇安信董事长齐向东表示，AI一定会给数字天下带来新的安全威胁，目前有两个方面：一是它可以仿造、以假乱真，履行诱骗；二是AI还能够帮助黑客提高攻击水平，尤其是把不懂黑客技能的一些人快速培养成黑客，帮助黑客写程序、写代码，帮助黑客制订攻击方案，供应攻击策略。
立法步伐加快
今年以来，以ChatGPT为代表的天生式人工智能快速发展，背后暗藏的个人隐私、数据安全、知识产权保护等一系列法律风险和伦理等问题引发社会各界关注。对此，国家干系法律政策正陆续出台，人工智能等新技能的发展和管理越来越受到重视。
今年4月，国家互联网信息办公室就《天生式人工智能做事管理办法（搜聚见地稿）》向社会公开搜聚见地，其主旨思想是促进天生式人工智能技能的康健发展和规范运用。
刘权认为，《管理办法》建立了AI做事的管理框架，对天生式人工智能做事供应者和利用者进行了规范化管理，哀求供应天生式人工智能产品或做事的企业或个人进行实名认证、信息公示、报告安全评估、履行算法备案和变更、注销备案手续等方法，这有助于减少造孽个体或组织履行AI诱骗的可能性。
《管理办法》对天生式人工智能产品采取的预演习数据、优化演习数据过程，人工标注过程以及天生的文本、图像、声音等各个阶段须要遵守的规则和做事供应者履行的责任进行了详细列举，明确天生式人工智能产品过程中涉及的数据利用安全，有助于保护用户信息不被泄露，保障隐私安全。
其余，《管理办法》建立了完善的问题投诉处理机制。《管理办法》规定了对天生式人工智能做事过程中创造或用户举报的不符合管理办法内容的及时处理办法，哀求当发生侵害他人肖像权、名誉权、个人隐私、商业秘密等征象时必须停滞天生并优化模型。
呼娜英表示，2023年1月施行的《互联网信息做事深度合成管理规定》，细化了深度合成技能支持者、做事供应者、做事利用者以及运用程序分发平台的主体任务，规定的落实将有效遏制AI换脸等诱骗事宜。
例如，《规定》明确深度合成做事供应者应该利用显著办法，对可能导致公众年夜众稠浊或者误认的深度合成信息内容进行标识，显著标识的履行将保障"大众年夜众对天生内容的知情权。《规定》还提出深度合成做事供应者应在信息内容中添加不影响用户利用的标识并保存干系日志信息，隐性标识的落实将确保发布或传播的深度合成信息内容可追溯。
近日，国务院办公厅印发《国务院2023年度立法事情操持》，个中人工智能法草案等预备提请全国人大常委会审议，这意味着国家层面的人工智能立法将进入新阶段。
中国信通院云打算与大数据研究所所长何宝宏此前接管采访时建议，要组织跨学科团队，深入研究ChatGPT等新技能运用对现有法律规范、伦理道德等带来的冲击，系统梳理潜在风险寻衅，及早研究干系风险戒备方法。鼓励各方积极参与人工智能安全技能研发、戒备体系搭建和管理规则制订等事情，加快布局我国人工智能安全标准、伦理规则的研究。
管理AI诱骗需多管齐下
齐向东表示，人工智能技能被传统犯罪分子用来假造声音、假造图像、假造视频、假造证据，以假乱真，人们很难去甄别。要办理这些寻衅，只有靠技能和它进行对抗。网络安全技能和产品的创新一定能够办理AI时期的额外网络安全问题和风险，但人还是最关键的成分。
目前奇安信正在演习专有的类ChatGPT安全大模型，并且在人才培养上进行了超前布局，通过“人+机器”的合营来应对未来安全寻衅。
有专家建议，干系部门应持续进行AI反诈技能研究，提升戒备AI敲诈的技能手段，利用机器学习和数据挖掘、区块链等技能加强对AI运用的监管与审查，及时创造和戒备违法行为。
此外，还应提高"大众年夜众反诈意识与戒备AI诱骗能力。中国互联网协会日前也对AI换脸新骗局作出提醒，包括做好个人信息安全第一任务人，加强个人信息保护意识，防止信息透露；不轻易供应人脸、指纹等个人生物信息给他人等。
互联网协会提醒，在AI时期，笔墨、声音、图像和视频都有可能是深度合成的，在转账汇款、资金往来这样的范例场景，要通过回拨对方手机号等额外通信办法核实确认，“不要仅凭单一沟通渠道未经核实就直接转账汇款，无论对方是谁”。
管理AI诱骗须要多管齐下。刘权表示，应加强跨部门、跨行业的协同合营，建立联合公安、工信、网信、市场监管部门等政府部门，以及电信企业、通讯软件供应商、银行等企业的事情机制，共同监管和掩护网络安全。
来源： 国是直通车