21世纪经济报道记者 肖潇 北京报道

近日，韩国国会通过了一项性犯罪的修正法案——任何制作、持有、保存深度伪造色情视频的行为，都可被定为刑事犯罪，并面临最高七年监禁或者5000万韩元的罚款（约26万元人民币），目前在等待总统最终签署。

制作深度伪造的色情制品并主动传播，此前在韩国已经是一项犯罪行为。根据韩国的《性暴力预防和受害者保护法》，此类行为面临最高五年的刑期。

最新修改的法案将上限提高到七年，并且持有、购买、保存非法影像者也纳入了刑事处罚范围，面临最高三年刑期或3000万韩元罚款（约15.7万元人民币）。

修正案推出的前情，是多起韩国“AI换脸”恶性犯罪事件曝光。

今年5月，韩联社的一起调查报道发现，加密通讯应用程序 Telegram 上有数十个“羞辱房”，韩国男性用户在聊天群中分享普通女性照片，并用深度伪造软件“换头”成色情制片。8月，数百个类似的Telegram色情聊天室陆续曝光，波及范围扩大到女学生、女教师、女兵等，其中已知最大的一个聊天室成员超过22万人。

韩国警方表示，2024年前七个月共处理了297起相关案件，几乎是2021年首次收集相关数据时的两倍。尤其值得警惕的是，低龄化犯罪的特征明显，2023年犯罪嫌疑人中的未成年人占比高达75.8%。

不只是韩国，滥用深度伪造技术进行性犯罪的行为在全球范围内流行。欺诈安全网站Home Security Heroes去年的报告显示，互联网上98%的深度伪造视频为色情内容。报告还指出，现在只需不到 25 分钟的时间，而且无需任何成本，就可以使用一张清晰面部图像，为任何人制作长达一分钟的色情视频。

该报告分析的网络深度伪造色情视频中，大多数都是韩国女性。除韩国外，深度伪造色情受害者最多的国家是美国、日本、英国和中国大陆。

面对大幅降低了使用门槛的深度伪造技术，不少批评声认为，韩国修正案的作用仍然有限。韩国民主党议员金南熙（Kim Nam-hee）研究了韩国地方法院2021年以来受理的深度伪造犯罪，在87名犯罪嫌疑人里，只有不到三分之一的人最终被判有期徒刑，缓刑、罚款或无罪的人占据六成。换言之，性犯罪问题没有得到足够重视，量刑过轻，可能对犯罪嫌疑人难以起到震慑作用。

另一方面，需要多大程度审查平台内容的争辩再次摆于台面上。

金南熙在九月初的一场议会听证会上坦言，韩国的“数字性犯罪受害者支持中心”可以帮受害者删除色情影片，但有关部门没有删除内容的合法性基础，因此进展并不算顺利。不过，最新修正案的附加法案明确了韩国政府部门有删除非法影像的权力，以及为受害者恢复正常生活积极提供援助的义务。

“韩国通信委员会也可以向谷歌等平台传播非法视频采取措施，但我据了解，还没有公司因此收到罚款的例子。”金南熙补充道。

全球的监管机构、技术平台和社交媒体，正在深度伪造色情事件上寻找共识。比如，最近经过州长签署的一系列美国加州人工智能法案，其中两项规定，深度伪造色情图像属于刑事犯罪，并要求社交媒体平台为用户建立举报渠道：在平台调查期间，相关内容必须被屏蔽，如果调查确认属实，平台需要永久删除。

与此同时，社交媒体和技术平台也在主动开发技术，从源头限制深度伪造技术的滥用。OpenAI曾表示，文生图大模型DALL-E的训练数据中已经删除了露骨内容，从而限制用户创建这类图像。此外公司会过滤用户的提示词，不能随意生成名人图像。

今年早些时候，泰勒·斯威夫特的“换脸”色情图片在社交媒体X上泛滥，X一度禁止了用户搜索泰勒·斯威夫特的关键词。

值得注意的是，尽管多家社交媒体在打击性犯罪、虚假内容上付出越来越多努力，但为本次性犯罪事件提供“土壤”的Telegram很少出现在相关报道中。由美国国家失踪与受虐儿童中心 （NCMEC） 开发的平台 Take It Down旨在打击网络中的色情复仇现象，也是业内较常提起的解决办法——使用哈希列表（一种数字指纹），巡检平台中的图像和视频，及时监测和删除非法影像。TikTok、Instagram、PornHub等全球性平台都已加入该计划，而Telegram不在其中。

韩国警方认为Telegram服务器位于境外，而且对话内容采取端到端加密，隐蔽性强，是此类案件侦查难办的直接原因。

8月末，Telegram的创始人帕维尔·杜罗夫在巴黎机场遭到法国警方突然拘留，法国检方的指控包括拒绝配合执法部门，共谋持有色情材料等。Telegram官方表示，“声称平台或其所有者对平台滥用行为负责的说法是荒谬的”，全球近十亿用户使用Telegram作为通信手段和重要信息来源，“我们期待此事尽快得到解决”。

更多内容请下载21财经APP