与其他新技能一样，AI生图技能自出身之日起就充满争议，一起鲜花与荆棘相伴。支持者视它为颠覆性的技能革命，反对者视它为大水猛兽。特殊是近两年以ChatGPT、Sora为代表的AI数据大模型横空出世，AI生图已成为刷屏时尚，受到越来越多的网民追捧。它在给人们带来极大便利、惊奇、抚慰的同时，也一定暴露出诸多荒诞不堪、令人生厌、乃至违法犯罪等负面问题。
AI本无罪，关键在于如何利用它。只有坚守伦理和法治底线，技能才能更好造福人类。本日，上游新闻推出“AI生图五大乱象”专题宣布，聚焦近年来AI生图领域里暴露出的各类乱象，追根溯源、阐发因果，探索办理之道，以期对AI家当康健发展有所裨益。
近日，一段疑似三只羊网络科技有限公司联合创始人卢文庆的录音在网上流传，引发热议。录音中提及的主播“七老板”“大杨嫂”辟谣称，该录音是AI合成的。9月21日“七老板”发帖称已报警，公安机关将依法处理。
事实上，用AI技能换脸、换声造谣，并非个案。近期多地公安机关发布了多起利用AI工具履行造谣的干系案件，网络平台还封停了上千个用AI数字人恶意敲诈网友的账号。个中，不少骗局专门瞄准中老年人难以分辨数字人和真人“下手”。
上游新闻(报料邮箱：baoliaosy@163.com）采访理解到，随着AI技能的发展，不仅造谣本钱大大降落，还更具有欺骗性，还可能被传销组织利用。AI造谣呈现出迷惑强、识别难、花样多等特点，亟待加强监管。那么，AI谣言是如何产生的？背后有着若何的动机？又有哪些新骗局？上游新闻进行了调查。
“AI无人直播”背后的传销陷阱
9月23日，河南的刘女士（化名）向反响，她曾参与了一个所谓的“AI无人直播”项目。该项目流传宣传，通过AI仿照机器人24小时不间断进行商品推销，可以零失落误完成直播。然而，她投资5800元购买平台终端机利用几个月后，没有看到任何收益。
某AI智能直播平台简介。受访者供图
刘女士无奈地表示：“他们事情职员说得特殊好，说AI无人直播，用逼真的虚拟机器人给我推送流量进行卖货，不须要我付出韶光和精力。AI数字人做得非常专业、零失落误，可以做到24小时直播，可以帮助我在短韶光内赚到可不雅观的利润。但我创造根本没有盈利，对方还不断地让我发展下线，可从一级公会上进级到七级，相应的抽成从5%提高到11%。”刘女士提到，后来她创造这一项目不仅没有实际运作，还设置了繁芜的推举机制。她试图联系项目方希望追回投资款，但没有得到任何回应。
项目为吸引参与者设置了7个晋升层级。受访者供图
从刘女士展示的材料看到，该项目流传宣传通过AI技能让参与者实现自动化盈利，并设置了繁芜的推举机制：每成功推举一名新参与者，签约主播每天的直播时长便会增加2小时；推举越多，直播韶光也随之延长，直至达到24小时。当下线人数达到9人时，参与者乃至可以开启所谓的“小黄车”功能，享受直播带货收益。
反诈防骗专家李旭指出：“用AI技能招摇撞骗并不鲜见，多地公安都积极通过官微等多种办法展开范例案例宣扬。从刘女士的案例看，这种打着AI旗号通过拉人头增加收益的机制，让项目看起来更像是传销行为。除此之外，项目还以‘公会’的形式组织参与者，设置了7个晋升层级，每级的晋升条件是不断推举更多的人参与进来。这类项目，本色上是一种AI包装的传销骗局。”
AI数字人爱骗老年人
上游新闻调查创造，随着AI技能的快速发展，AI数字人逐渐成为新的网络热点，但也带来了潜在风险。尤其是老年群体，因其对科技的理解有限，每每成为不法分子利用AI技能进行恶意勾引的目标。
某短视频平台2024年4月曝光了以伪装名人、AI天生人像等手段，发布关心老人、领奖金、养老金、保健养生等内容骗取互动的违规行为。在这些违规征象中，有个别账号通过AI天生人像发布第一人称关心的话术，如“姨妈，我可以叫你一声娘吗”“孩子好想你，乐意给我一朵小红花吗”“娘，您辛劳了”等，利用老年用户的情绪需求，勾引吸引女性老年用户关注，骗取用户互动。另有违规账号，通过仿冒名人发布养老金、高龄补贴，或持续发布“2000万到你家了，吸收一下吧”“点击按钮，今晚必中奖”等博眼球内容，让老年人误以为“点亮红心和加号”就可以中奖或领钱，继而陷入互动陷阱或上当受骗。
还创造，一些账号利用AI数字人，尤其在老年人热衷的保健、养生等领域进行勾引。例如，某些社交平台或直播间会利用AI技能天生的“帅气老头”或“康健奶奶”数字形象，吸引老年人关注。这样的虚拟形象常常以“找个帅老头一起健身吧”或“跟我一起保持年轻活力”的话术，宣扬健身产品、保健品等。
为博流量用AI造谣
除了搞诱骗，为博取流量赢得关注，用AI技能天生造谣图片和视频，也相称普遍。
9月20日，一段疑似三只羊高层录音曝光。由于声音听起来和三只羊网络科技有限公司联合创始人卢文庆很像，再加上内容信息涉及主播“七老板”“大杨嫂”和“公司内斗、不正当关系”等，“录音门”迅速引发关注。9月21日，“大杨嫂”在评论区留言：“这根本不是卢总的声音，利用AI合成，造谣传谣是要负法律任务的！
”“七老板”一度发视频晒出行政案件备案奉告书，并留言：“录音视频是假的，AI加工合成，已报警处理。我相信公安机关，也相信法律，会还我一个公道。”
上游新闻从上述“奉告书”看到，警方于9月21日以寻衅滋事备案。通过社交平台私信功能联系“七老板”，截至发稿前，“七老板”没有回答。
上游新闻把稳到，央视新闻今年6月曾表露了一个案件，从中可以看到AI谣言的生产流程。
今年1月，某网络平台涌现一条关于“西安爆炸”的，笔墨下方还配发了所谓的爆炸图片。这条看起来危言耸听的很快在网上传播，它乃至包含了韶光、地点等关键信息，极具迷惑性。那么原形到底如何呢？
某AI标题天生工具。央视新闻
据江西南昌警方先容，当地有一个MCN机构发布了这么一条信息，他们经由核实，并没有发生类似的事宜。在约谈中警方得知，网上发布的西顺产生爆炸这条谣言，从文本到图片，全都是通过AI天生的。据先容，违法职员王某某通过具有语音交互功能的AI软件，只需说出关键词，软件便会自动在网络上抓取干系信息，天生几百到上千字的文本，并配上貌似和事宜具有干系性的虚假图片，从而形成一段看起来信息量很大，实际上子虚乌有的内容。通过AI软件天生内容办法，一家MCN机构短韶光内可天生大量文章，最高峰一天能天生4000至7000篇。
而在AI天生谣言中，近期影响较大的，要数涉及自然磨难的谣言。
前不久，全国多地遭受极度景象影响，尤其是在进入主汛期后，一些地区经历了大范围极度高温、破记录的强降雨及变革莫测的大风尚象。这些极度景象引发了洪涝、山体滑坡等自然磨难，给公民群众的生活和生产活动带来了严重影响。令人朝气的是，有人却趁机利用网络、人工智能（AI）技能制造并散布涉灾谣言，进一步扰乱了本已紧张的信息环境。
不久前，湖南省互联网举报中央微信公众年夜众号公布了一个案例：网民杨某利用AI技能将河水与杨梅果树图片拼接在一起，造成大雨涨水淹没果树的假象。逼真的画面导致部分群众信以为真，引发惶恐感情。案例中所提到的AI技能，便是近期用于制作涉灾涉险谣言的新手段之一。
而AI模拟新闻风格天生的谣言，迷惑性更强。
2023年底，一则“某地民房发生爆炸事件，4人不幸罹难”的在某网络平台上发布，以新闻宣布的口吻供应了某地“事件”的大量细节，短韶光内这则所谓的“突发新闻”便得到了几万次的点击量。
据违法行为人交代，之以是制造谣言，是由于得知在某网络平台创作发布文章，可以根据阅读、评论、转发数量等获取干系流量收益，每千人有效阅读量有1至2元的褒奖。他看到一篇关于爆炸事件的新闻关注度高，就在AI文本天生软件里输入关键词，天生了上述这篇毫无根据、随意编造的虚假新闻，并发布在自己的网络账号上。
戒备AI滥用带来的骗局
反诈防骗专家李旭见告，这些AI数字人通过与老年人互动，营造出一种可信的康健建议来源，实际上背后是利用老年人对养生、健身等康健需求的急迫，勾引他们陷入消费陷阱。更有甚者，这些虚假账号会打着科学健身或养生的幌子，推抬高价产品，借助老年人的信赖来牟取不义之财。为了戒备这些AI骗局，老年人须要提高戒备意识，不要轻信虚拟形象的推举，特殊是在涉及购买保健品、健身器材等方面。家人也应多陪伴和提醒老年人把稳网络中的虚假信息，确保他们阔别这种潜在的数字诱骗。
中国社会科学院大学互联网法治研究中央主任刘晓春建议，互联网内容平台应加强对AI造谣行为的智能识别机制研究，进一步优化涉及AI内容的流量分发和收益分成机制，压缩别有用心者批量生产谣言的牟利空间。
中国科协辟谣平台特聘专家张英认为，面对AI天生的涉灾涉险谣言的寻衅，提升公众年夜众辨识能力与强化网络平台监管策略是相辅相成的两个方面，建议重点做好四方面的事情：一是传播科技进展；二是辟谣，使"大众认清误区；三是关注掉队地区，关注易损薄弱性；四是看重"大众年夜众参与，增加公众年夜众得到感。
上游新闻 冯盛雍 徐远哲 部分资料综合自中国应急管理报、央视新闻等