随着AI技能的发展，不法分子为了牟利、引流，利用“AI天生图文”“AI换脸”“AI脱衣”工具作案愈演愈烈。南都、N视频调查创造，给出相应指令后，一些AI工具就能快速批量扩写出不同的故事文案，有的每个月会员费只要99元，充值一年还能打五折。“深度假造”技能几年前已被曝光，如今在网购平台仍可找到“AI换衣”“AI换脸”类工具，只是搜索路径更为暗藏。
“天生式人工智能带来了深刻的技能变革，我们要积极地拥抱新技能，也要及时认识到并改进技能利用过程中涌现的问题。”对外经济贸易大学数字经济与法律创新研究中央主任容许，向南都剖析道。
调查：下指令可批量天生谣言
近期，公安部公布了10起打击整治网络谣言违法犯罪范例案例。个中，有网民发布“广州即将成为全国首个限定外卖配送的城市”的，迅速形成网络热搜。
经查，四川德阳网民杨某组织招揽广东江门网民叶某英等多名兼职职员，利用人工智能工具批量天生不实文章引流牟利。终极，6人被警方采纳刑事逼迫方法。
这些案例中，能批量天生不实文章的AI工具为犯罪团伙“蹭热度”引流带来便利，加快了谣言的生产。这些工具获取是否有难度？有哪些功能？南都进行了实测。
去年，浙江警方摧毁一利用ChatGPT制作虚假视频的造谣团伙。
除了ChatGPT等常用人工智能工具，南都通过关键词搜索，在网络上创造许多“AI洗稿”“伪原创天生器”“AI写作”等网站、小程序，其功能多样，能知足创作公众年夜众号文章、视频脚本、小红书文案、文章标题等需求，还有文章续写、内容改写润色、图片天生笔墨等功能。
南都随机点进一个“AI文案速写”的小程序中，在对话框内输入创作有关“抢劫”“霸凌”“失火”3个主题内容的详细指令，就快速得到3段被扩写至100字旁边不同故事情节的文案，个中还有一些生动的细节。
南都哀求环绕同一话题写出10段文案时，该平台快速给出不同角度的文案，包括事宜本身、社会呼吁等。
在另一个AI网站中，南都输入两句话指令后，该平台快速天生了一篇较长的公众号文章，且还有连续输入指令改写文章的功能。
值得把稳的是，也有平台对敏感内容创作，设置了提示。
一款“AI文案”小程序在接到写有关霸凌事宜文案的指令时提示“不能供应可能宣扬暴力或不当行为的内容”。
那么，在造谣过程中，这些AI工具的供应者是否须要承担法律任务？
“在技能利用上，永久存在善、恶两种利用办法。法学上很早就提出了技能中立性的主见。”对外经济贸易大学数字经济与法律创新研究中央主任容许见告南都。
他也指出，还要从研发者的角度判断，其生产该工具是否有特定用场或目的。如果研发者明知利用者要利用AI工具天生传播谣言，却仍选择推广，乃至放任谣言天生，那么技能中立的主见就不得当了。
对付已普遍运用的主流AI工具，如被用于造谣等违法行为，则要根据谣言性子、天生过程等，让做事供应者承担相匹配的任务，例如哀求进一步其提升平台管控能力，担保避免天生有害信息等。
实测：网上开源或免费工具多
“随着技能快速发展，相对付天生视频图片，纯文今年夜模型的技能难度较低，天生文本也是非常根本的功能，例如给定一个框架让AI批量天生内容，速率是非常快的。”中国打算机学司帐算机安全专业委员会数字经济与安全事情组成员方宇见告南都。
方宇表示，犯罪分子利用AI工具天生谣言的成本相对较低，其可以利用现成的技能和平台进行操作，如今存在不少开源或免费的工具。
其紧张本钱可能包括获取工具的用度、运行工具所需的打算资源用度以及掩护用度。但在国内外的大模型算法逐步开源的情形下，一些AI工具的研发本钱也降落了。
南都调查创造，在网络上，AI创尴尬刁难象泛滥，有收费、有免费。
有博主在某一篇关于AI创作的"大众年夜众号文章中留下微旗子暗记，约请“想借助AI创业、赢利”的读者添加微信。
南都添加所留微旗子暗记后，对方发来一个有文本生成功能的AI工具，但要充值利用，会员费每月99元，12个月699元。
南都讯问博主是否为原创研发工具，对方却表示“是我们与原创互助”。该款AI小程序对话框顶部有讯飞星火等多个人工智能模型可供选择。
“技能的运用处景须要有一定的边界，同时要辅以必要的监管。”方宇先容，2023年7月，中心网信办发布了《关于加强“自媒体”管理的关照》，强调要规范信息来源标注、加强信息真实性管理、完善谣言标签功能等。
“这意味着未来利用AI工具天生谣言的本钱可能会因更严格的监管而增加，有助戒备谣言的制造和传播，避免对社会造成负面影响。”
他表示，这些政策文件的出台表明，监管机构已经意识到，利用AI工具进行内容天生的大略性及其带来的问题。但是实现有效监管还需付出更多的本钱和努力。
买卖：博流量当“水军”引流赢利
南都创造，除了笔墨，一些犯罪分子还通过AI编辑视频、图片等以假乱真，稠浊视听。
广西一男子制作假地震误导"大众年夜众。
1月23日，广西一男子为博取流量吸引粉丝，将其他地区的抗洪、救灾视频，利用AI软件自动编辑功能，嫁接新疆乌什县发生地震的虚假视频信息。
视频被大量播放，并引发许多不明原形网民评论和转发，严重滋扰社会秩序。这名男子也被警方惩罚。
在湖南，一网民发布一条带有警徽的《悬赏通知布告》，称长沙天心区发生重大刑事案件，拟向公众年夜众有偿征集线索。
原来，这张《悬赏通知布告》也是AI假造而成，目的是吸粉引流。该网民同样受到了警方惩罚。
从利用AI天生不实内容，到在网络发布扩散，终极实现为账号引流牟利的目的，不丢脸出，运营造谣账号的背后仍是不法分子想当“网红”或从中获利的贪心，但层出不穷的谣言却影响了正常的社会秩序。
根据警方表露案例，从组织构造上看，造谣“买卖”大致分两种类型：个人运营自媒体造谣账号，吸粉引流变现；亦有团伙作案，批量运营自媒体账号，大规模散布谣言，例如有不法分子成立MCN机构运营数百个账号，长期组织公司职员造谣引流。
如何实现牟利？浙江警方去年侦破的一起利用AI制作虚假视频造谣案件中，造谣团伙博取流量后，通过流量算法返款盈利。有犯罪嫌疑人称，通过发布视频、文章等，有阅读量就会给收益。
南都创造，还有造谣者为赚取佣金，利用手机软件的AI题词功能写文章，在某App上参加发布作品活动，只要播放量达到褒奖标准，就能赚到“零费钱”。
通过借社会热点事宜编造传播网络谣言，一些自媒体从业职员实现吸粉引流、赚取平台补贴、增加广告收入以及带货牟利。
AI能否助力引流？方宇先容，纵然不利用AI，一些造孽为账号供应“刷赞”“刷评论”的“网络水军”也正成为引流的工具。“但AI确实可以在扩散谣言中起到推波助澜的浸染，让谣言传播过程更加自动化、暗藏化。”
方宇说道，尤其是，AI算法可以根据用户的行为和偏好定制内容，增加其吸引力和说服力，从而更有效地吸引流量和关注，“有句话是说，AI可能比你自己更加理解你”。
“目前监管机构、平台方正在努力，通过更有效的技能和管理方法，来识别和阻挡这类行为，降落AI工具在这一方面的负面影响。”方宇向南都表示，有关部门还须要提高公众年夜众的识别能力，以减少谣言的传播和影响，例如创造谣言能及时举报等。
侵权：“AI换衣”等造“黄谣”仍不止
随着AI技能的深度发展，“AI换脸”“AI脱衣”工具变得常见。一些不法分子将歪主张打到了造“黄谣”，乃至威胁、诱骗上。
4月19日，北京市海淀区公民法院审理了一起利用“AI去衣”软件制作淫秽物品案。
被告人通过互联网发布“AI去衣”广告，将他人供应的承载人脸信息的不特定多数女性图片，通过深度假造技能、AI软件制作成裸体图片贩卖牟利，同时出售“AI去衣”软件及利用教程牟利。
今年1月，贵阳市花溪区一女子在某短视频平台直播带货的照片，被人截图后将上半身换成裸照，在网络传播。
经调查，家住广西玉林市的谢某，将该主播的直播截图上传到一款AI绘图软件，利用局部改图功能合成了该主播上身赤裸的照片，又将合成的裸照打上马赛克之后转发到微信群内，照片被多人转发。随后，谢某被警方抓获并被处以行政拘留惩罚。
网购平台能找到“AI换衣”工具。
近日，南都搜索网购平台创造，仍有少量“AI换衣”“AI换脸”类工具售卖，只是搜索路径更为暗藏。一些店铺隐晦地将“去衣”表述为“去一”等同音字。
南都点击进入一个仅售1.9元的AI工具的链接，创造虽未写明“换脸”，但有“换服装”“一键完成照片视频处理”等字样。在客服发来的收货内容中，既有“去一”也有“换lian”。
另一家发卖“一键换衣软件”的网店内，有两款价格不同、但先容相似的AI换衣工具，分别售价8元、15元旁边。
对此，客服阐明称，便宜的工具是“换”衣，贵一点的工具是“去yi”。还有一家网店用名称“上半升趣一”暗示工具功能。
实际上，“AI换脸”“AI脱衣”此前已被曝光。
2021年，南都调查创造，深度假造及类似的合成技能的滥用已催生了一批黑灰产：有卖家出售破解版换脸软件，并打包出售通过换脸软件制作的女明星淫秽视频；短视频平台“假靳东”事宜后，仍有假冒“东哥”账号在平台生动。
“AI换脸、换衣技能已经相称成熟，如深度假造，可以天生逼真的视频、图片。”近日，方宇向南都先容，这些技能也被不法分子用于造谣，乃至进行诱骗等。
从技能上来看，可通过一些专业的检测手段进行真伪剖析，一些常见的辨别方法包括检讨图像或视频中的不一致性，如非常的光影效果、物体的不自然变形等。专业软件和工具也可以通过剖析图像的元数据和像素模式来检测假造。
方宇也指出，如今AI技能进步很快，这些检测方法也无法给出绝对的结论，只能作为参考。
“但监管机构和平台也正采纳方法提高"大众年夜众的识别能力。”方宇表示。据2023年8月15日起施行的《天生式人工智能做事管理暂行办法》，明确天生式人工智能做事供应者应该按照《互联网信息做事深度合成管理规定》对图片、视频等天生内容进行标识，创造违法内容应该及时采纳处置方法等。
管理：明确“标识”责任
无论技能如何发展，针对网络谣言的打击整治从未间断。
2023年12月以来，公安部支配全国公安机关统一开展打击整治网络谣言专项行动。截至2024年4月12日，公安机关累计排查网络谣言线索8万余条，侦办网络谣言类案件1万余起，抓获犯罪嫌疑人1500余名，行政惩罚10700余人，开展公开辟谣等4200余次。
公安机关坚持打防管控一体推进，聚焦社交媒体、直播和短视频等重点平台开展司法检讨，查处整治9800余家次，清理网络谣言信息73.5万余条，关停违法违规账号6.3万个；辅导互联网平台企业严格落实网络安全管理主体任务，武断查处不履行主体任务和责任的平台，行政惩罚网站平台590余次。
天生式人工智能的干系法规也陆续出台。
容许向南都先容，在提升技能的透明性方面，已出台有关规定明确了AI做事供应者的“标识”责任。他进一步阐明，“可以通过对天生内容进行显式标识或隐式标识，做好安全提示以及事后追责。”
2023年9月，最高公民法院、最高公民审查院、公安部印发《关于依法惩处网络暴力违法犯罪的辅导见地》，指出对履行网络暴力违法犯罪，包括利用“深度合成”等天生式人工智能技能发布违法信息等环境，依法从重惩罚。
方宇认为，除了监管与司法，还可以从加强技能戒备、"大众年夜众网络安全教诲、鼓励行业自律、开展国际互助、勉励社会共治等角度入手开展管理。
“AI技能本身是中性的，它的运用取决于利用者的目的和行为。”方宇表示，精确利用AI技能可以带来许多积极的变革，如提高事情效率、改进生活质量等。然而，滥用AI技能进行违法行为，如制造和传播谣言，是须要武断打击和戒备的。
他把稳到，有关部门正在采纳一系列方法来应对利用AI工具天生和传播谣言的问题。他认为，这也提醒了技能开拓者和利用者，必须在遵守法律法规的条件下利用AI技能，避免对社会造成不良影响。
“天生式人工智能带来了深刻的技能变革，我们要积极地拥抱新技能，也要及时认识到并改进技能利用过程中涌现的问题。”容许说道。
他认为，如今AI造谣的乱象频发，也有大众对该情形不理解的缘故原由。当人们认识到该问题后，辨别能力也会有所提升。
“我以为从长期来看，工具的变革背后是人的变革，当人的能力与工具的发展相匹配，终极会办理这些问题。”
出品：南都即时
统筹：南都 向雪妮 韦娟明
采写：南都 敖银雪