9月26日晚,合肥警方通报称,9月20日接到三只羊公司报警,称网上传播的涉卢某某音视频不实,严重侵害其合法权柄。
经由侦查,9月22日晚将犯罪嫌疑人王某某(男,25岁)抓获,并在其电脑、手机和制作AI音频的网站中创造假造干系音视频的证据。
经鉴定,认定网传音视频系假造。

警情通报

此前,网络上流传的这段录音显示为“三只羊”卢某某在酒后揭橥的一段辞吐,内容牵连公司旗下多位女主播,展现出他对市场与消费者的傲慢态度,以及对干系人士的不尊重。
这段录音曾为深陷虚假宣扬风波的“三只羊”公司招致了更多的批评。

一时之间,由录音假造引起的AI安全问题引发谈论。

三只羊卢某录音系大年夜模型假造涉事公司称会加强产品安然

9月27日,深圳市言域科技有限公司创始人谢伟铎在接管澎湃科技(www.thepaper.cn)采访时表示,网传的涉卢某某录音确系嫌疑人利用该公司自主研发的AI配音大模型平台天生。
嫌疑人利用卢某此前直播片段约30秒的录音进行声音克隆,并通过文本天生了虚假音频。

涉事公司声明

谢伟铎称,公司高度重视此事,已启动内部审核机制,进一步加强产品的安全管控方法。
在不涉及用户隐私的情形下,将通过技能手段支配包括但不限于强化实名认证、敏感词侦测预警、高危内容拦截、可溯源音频水印等方法,确保技能的合法合规运用。
他表示,公司武断反对任何不正当办法利用产品进行违法或不当行为,正合营警方调查。

这次风波中,供应AI技能的公司是否须要承担法律任务?上海大邦状师事务所高等合资人游云庭指出,这取决于平台是否履行了合规责任。
根据《互联网信息做事深度合成管理规定》,如果平台履行了相应的合规任务,其法律风险会较小,否则可能面临麻烦。

游云庭表示,首先,平台须要进行算法备案,并确保实际运行的算法与备案同等。
其次,平台应对用户身份进行认证,如果未认证就供应做事,可能存在法律风险。
此外,平台应明确提示用户不得利用平台做事进行违法行为。

ReechoAI睿声官网显示,其是由深圳市言域科技有限公司供应的AI语音大模型技能产品及AI有声内容社区。
澎湃科技在互联网信息做事算法系统查询,“深圳市言域科技有限公司”暂无干系算法备案记录。
其余,其关联主体“深圳市呦络科技有限公司”也无备案记录。

针对无备案记录这点,谢伟铎称,备案这块目前在积极推进,“由于我们今年八月份旁边才正式在线下开始运营”。

人工智能飞速发展的同时,AI安全问题不容忽略。
近年来,由“AI换脸”“AI音频”合成导致的诱骗案件频繁引发关注。
2024年美国大选期间,AI曾伪装美国总统拜登给选民打电话。
2024年2月,喷鼻香港发生一起涉案金额高达2亿港元的诱骗案,犯罪嫌疑人正是利用Deepfake技能“AI换脸”和AI音频合成,假造了一场“高管会议”。

谢伟铎称,当前AI语音技能已达到人耳乃至传统鉴定方案难以区分的程度,包括各种感情、口音、发音习气、方言等都可以高度还原,并且能够高细粒度地理解文本,天生最匹配的声音。

此前,三只羊网络科技有限公司因直播带货“喷鼻香港美诚月饼”等事宜涉嫌虚假宣扬、欺骗消费者等问题,引发舆论风波。
合肥市联合调查组9月26日通报,拟对三只羊公司罚没共计6894.91万元。
三只羊公司随后揭橥道歉声明,表示全面接管惩罚,愿承担干系法律任务。
抖音平台也自9月21日起对“三只羊”旗下账号进行停播处理,敦促其积极整改,妥善办理消费者的售后赔付事宜。