一张照片可实时视频换脸!警惕AI合成这种新型网络诈骗手段
创始人
2024-08-18 15:44:53
0

为保护用户权益,防止账号被盗,很多社交软件都设置了人脸识别的登录验证环节。然而,这一验证环节可能并不需要本人来操作,在湖北黄石就刚刚破获一起用AI换脸技术解锁社交账号并倒卖获利的诈骗案。

前段时间,湖北黄石的王先生偶然进入某炒股直播间,王先生添加了直播间推送的社交账号后,跟对方一起进行股票投资。随着投资金额不断增加,当王先生想要提现时,发现对方的社交账号因涉嫌诈骗已被冻结,资金无法取出。

受害人 王先生:一直取不出来,这个时候就发现了不对,因为他老是找各种理由让你取不了钱。后来我发现他的社交账号被冻结了。

警方在侦办案件过程中,意外发现该涉案社交账号突然解冻并重新登录,推测可能有团伙帮助诈骗嫌疑人解封了账号。调查发现账号IP所在地在河南,黄石警方在当地配合下,很快抓获三名嫌疑人,现场查获13台电脑、9部平板、119部手机和80张电话卡。经讯问,高某与许某2023年9月底开始在网上贩卖和帮他人解锁社交账号,通过AI换脸融合的动态视频帮人解锁一些被平台冻结的交友账号。

湖北省黄石市公安局下陆分局指挥中心民警 王楚奇:他通过自己在网上购买的一款视频合成软件,按照社交账号要求解封作认证的这些规定动作,利用他自己的人脸和他合成的那个视频,生成的AI视频上传到社交账号的后台,来进行认证。

据了解,这个团伙每解锁一个账号收费15元至30元不等,其中许多账号是因涉嫌诈骗被冻结的账号。该团伙共解冻了2107个账号,从中获利40万元。民警告诉记者,AI合成视频已经成为新型网络诈骗的重要手段。

湖北省黄石市公安局下陆分局新下陆派出所治安巡防副队长 张军:不要将自己的身份证号、身份证头像、手机号等等自己的隐私信息在网上进行暴露,加强自己的隐私信息的保护。

眼见不一定为实

单张照片可实时视频换脸

我们常说“眼见为实”,但在AI时代,肉眼所看见的也不一定是真相。一些不法分子利用“AI换脸”技术实施诈骗,已成为一种新型骗局。一张“肖像照片”、一段“貌似熟人的视频”,都可能被不法分子利用作为诈骗的手段和工具。

在工业和信息化部反诈专班的实验室里,技术人员向记者演示了两种常用的AI换脸技术。通过一张事先从网络上公开获取的记者本人照片,经过一段时间的模型训练。这张照片就能在演示者的控制下像真人一样做出转头、张嘴、眨眼、微笑等表情和动作。

工业和信息化部反诈工作专班专家 李坤:不法分子首先会通过各种公开的渠道获取受害人的个人肖像或视频,然后利用AI技术,对这些照片中的面容特征进行学习,从而模仿眨眼、摇头等动作,实现以假乱真的效果。

李坤表示,除了让照片上的人像活化,AI换脸技术还能实现在即时视频通信状态下的实时换脸。技术人员也通过AI换脸技术让记者体验了一下与另一个“自己”视频对话的效果。

工业和信息化部反诈工作专班 技术人员:主要找了一些公开的社交媒体平台,去拉取一些公共的视频。拿了这些数据,整体的训练时间差不多花了1天,24小时达到目前这个效果。 如果时间长点的话,我们画面的清晰会有所提升。

技术人员告诉记者,所有用于AI换脸训练的记者照片和视频都是从网上公开收集的,总共只用了四五张照片和不到五分钟的素材。如果有充足的训练时间,仿真效果会更好。除了面容以外,声音也可以通过同样的技术来仿冒。专家指出,虽然目前AI换脸和仿声有一定的技术门槛和较高的实现成本,但如果被不法分子掌握,就可能在即时通信或者社交软件上伪装成他人,开展相应的诈骗活动。

AI换脸诈骗检测与预警技术正在测试中

利用AI技术制作换脸视频或合成声音来实施诈骗的确让人防不胜防,那么如何防范这种风险呢?有关部门正在开发相关的反制技术和手段。

工业和信息化部反诈专班专家 李坤:我们正在会同行业内的手机终端企业,将推出AI换脸诈骗风险提醒功能。这项功能仅在手机端来本地运行,能够有效保护用户数据不泄露,经过用户授权后,可为用户提供AI换脸诈骗风险预警提醒。

记者在反诈专班的实验室现场体验了正在测试中的AI换脸诈骗检测与预警技术。当用AI换了脸的技术人员与记者发起视频通话时,测试手机终端提示“对方疑似假冒身份”。点击检测按钮,经过图像扫描,系统提示“AI换脸合成概率93%”。

据了解,AI换脸主要是使用深度合成技术。《互联网信息服务深度合成管理规定》提出了算法备案、安全评估的手段,要求深度合成服务提供者对深度合成的内容添加显式或隐式水印。

中国信通院人工智能所安全与元宇宙部专家 陈文弢:要对生成合成的内容去添加一些水印,这个水印的本质其实就是要一方面去提示公众这个内容是由AI生成或者合成的,另一方面也是要追溯它的来源。

专家提醒,AI诈骗是隐私信息泄露与诈骗陷阱的结合,要加强对个人隐私的保护,不轻易提供人脸、指纹等个人生物信息给他人,不过度公开或分享动图、视频等,尤其涉及“朋友”“领导”等熟人要求转账、汇款的,务必通过多种途径核实确认,不要未经核实随意转账汇款。

(总台记者 孙蓟潍 唐志坚 徐之昊 孙丽鹏 黄石台)

相关内容

小米开源可控视频音效生成模...
IT之家 5 月 29 日消息,小米大模型应用团队今日发布 Con...
2026-06-01 00:41:13
鸿蒙生态设备超13亿台,开...
PChome 5月28日消息,2026开源鸿蒙开发者大会正式召开,...
2026-05-30 05:44:37
德勤:聚焦AI驱动产业变革...
上证报中国证券网讯(记者 汪友若)5月27日,“2026德勤中国高...
2026-05-28 21:01:39
名雕股份成立科技新公司,含...
企查查APP显示,近日,深圳市鲸跃云科科技有限公司成立,注册资本1...
2026-05-27 21:47:16
霸榜、涨价与出海:中国AI...
作者丨邱同春 编辑丨邢怡然 5月11日,市场传出快手正在推动旗下可...
2026-05-27 21:00:37
广联达:AI技术与建筑实体...
证券之星消息,广联达(002410)05月25日在投资者关系平台上...
2026-05-27 20:52:17

热门资讯

2024云栖大会|阿里云升级无... 北京商报讯(记者魏蔚)9月20日,阿里云无影AI云电脑在2024云栖大会上展出,该版本基于最新的终端...
MWC2025荣耀多款AI技术... 人民财讯3月6日电,2025世界移动通信大会(MWC 2025)上,荣耀MagicBook Pro ...
原创 2... #春日生活好物种草季#近年来,笔记本电脑市场迎来技术爆发期,尤其在手机厂商跨界入局后,轻薄本在性能、...
摩尔线程发布AI算力笔记本MT... 钛媒体App 12月20日消息,摩尔线程创始人、董事长兼CEO张建中在摩尔线程首届MUSA开发者大会...
摩尔线程AI生图摩笔马良全新升... 快科技8月7日消息,作为国产GPU的杰出代表,摩尔线程在当下火爆的AIGC浪潮中也推出了自己的软硬一...
谷歌打磨 Gemini AI ... IT之家 8 月 31 日消息,谷歌于 8 月 27 日发布博文,宣布旗下 Gemini AI 支持...
微软 Azure AI 语音服... IT之家 8 月 23 日消息,微软Azure AI 语音服务允许开发者构建多语言生成式 AI 语音...
青云QingCloud Kub... 日前,青云科技宣布开源 Thanos 的企业级发行版 Whizard,为企业带来真正高可用、可扩展、...
AMD锐龙AI 9 HX 37... 2024年6月3日,AMD正式发布全新的锐龙AI 300系列处理器。该系列处理器一经发布就引发大家的...
Macos系统上一款强大的卸载... App Cleaner mac中文版是Mac os系统上一款强大 的mac卸载工具,以帮助您完全卸载...