AI生成内容以假乱真如何甄别?网信办新规公开征求意见,专家:防范AI造假风险
创始人
2024-09-19 15:49:54
0

近日,国家网信办公布了《人工智能生成合成内容标识办法(征求意见稿)》(以下简称《征求意见稿》),并面向社会公开征求意见,意见反馈截止时间为10月14日。

《征求意见稿》提出,人工智能生成合成内容是指利用人工智能技术制作、生成、合成的文本、图片、音频、视频等信息。人工智能生成合成内容标识包括显式标识和隐式标识。网络信息服务提供者应当按照有关强制性国家标准的要求进行标识。服务提供者提供生成合成内容下载、复制、导出等方式时,应当确保文件中含有满足要求的显式标识。提供网络信息内容传播平台服务的服务提供者应当采取措施,规范生成合成内容传播活动。包括提供必要的标识功能,并提醒用户主动声明发布内容中是否包含生成合成内容等。

专家认为,这一规定的出台既能有效规避AI造假,也将推动AI生成内容检测算法的发展。律师表示,目前已有不少AI生成内容带来的刑事案件和民事纠纷,新规能有效遏制侵权行为。有AI创作者认为,新规的出台将对生产“深伪”内容的创作者带来冲击。

专家:

防范AI内容造假潜在风险

推动AI生成内容检测算法发展

南开大学人工智能学院教授刘杰认为,这一规定的出台非常有必要,因为如今AI生成的文本、音频、视频的逼真程度、自然程度越来越高,网络上传播的AI内容已经很难去辨别真实性。有人刻意传播一些AI伪造的事件、人物讲话时,会对公众造成误导。新规要求AI内容添加标识,是对这些潜在问题的防范。

在《征求意见稿》中,对提供生成服务的平台和发布平台都提出了要求,通过双层机制,确保每一个生成内容都能被合理地标识出来,保证内容安全,避免误导。如今AI生成内容快速发展,带来了新的产业变化,在此场景下,有必要出台相应规定来保障技术的合理应用和行业的健康发展,避免不当信息的传播影响整个行业的发展。

▲资料图片 图据图虫创意

刘杰告诉红星新闻,按照新规的要求,生成内容的平台需要有相关技术来添加相应标识,内容传播平台也需要能够检查到内容中是否存在相应标识。对于没有标识的AI生成内容,传播平台也需要有一套精准的算法来进行判别。这对算法有很高的要求,新规的出台将推动AI生成内容检测算法的发展。

刘杰认为,目前的AI生成内容识别规定在执行层面可能会面临一些问题。比如在生成环节添加的显式、隐式标识,可能会被人为删除;AI生成内容和真实内容混合存在时,应当如何标识等。

刘杰还提到,AI生成内容以假乱真的能力和对生成内容检测算法的能力是一个长期互相竞争发展的过程。在这个过程中,难免会出现部分AI生成内容无法被精准识别的现象,可能会对浏览这些内容的用户造成困惑。

有创作者称“深伪”内容生产者将受冲击

律师:新规能有效遏制侵权

AI领域创作者“土豆人”告诉红星新闻,他非常支持这一标识规定的出台。一方面AI生成内容以假乱真、难以识别,另一方面大量数字仿品的出现对创意产业破坏很大,版权保护跟不上技术进步的话,会影响整个行业的生态。但他也担心,AI内容在未来生活中几乎无处不在,过度标注可能会干扰用户认知,对AI技术产生抵触。

“土豆人”认为,对于他们这种带有明确AI创作者标签的人来说,这一规定的影响非常有限,真正受到影响的是那些生产“深伪”内容的创作者,强制标识后将明显影响他们在各个平台的传播效果。

北京天元律师事务所合伙人律师、“AI著作权第一案”当事人李昀锴告诉红星新闻,未来这一强制标准出台后,将要求所有工具、传播平台都要有标注义务,能有效遏制AI滥用现象。一方面能方便社会公众进行明确辨别区分,另一方面在AI内容出现问题后有利于监管者进行追溯调查。

李昀锴表示,目前已经有不少因AI生成内容导致的直接或间接纠纷。利用AI伪造内容进行的诈骗案件已经发生过多起,强制的标识可以方便主管机关追溯欺诈主体,也能追查哪些平台在监管上存在问题。在民事领域相关问题也很多,比如学生用AI生成论文,带来学术不诚信、影响学习研究能力等问题;比如公司、平台购买一些创作内容,往往是基于人工制作进行的定价,但会面临创作者用AI生成“糊弄了事”。目前,对于这类问题购买者缺乏识别和举证的手段,未来如果强制性的标识得以推广,能有效遏制这种侵权行为。

李昀锴认为,这条新规本质上是压实平台的合规义务,增加平台的合规成本和投入,传播平台也要加强审核和提示。目前,不少大的传播平台都会对AI生成内容进行识别,并提示用户疑似AI内容。但这是基于大平台的高标准意识,并没有强制性,未来国家标准的发布能够强制全面推行,会要求所有平台都要提高合规管理的措施和技术。

红星新闻记者 付垚 实习记者 刘亚洲

编辑 张莉 责编 官莉

相关内容

看了AI生成的ASMR吃播...
前段时间,一条用 AI 生成的切水果 ASMR 短视频,在洋抖上爆...
2025-07-12 13:13:44
告别“无效阅读”,AI正在...
学校管理者为零散的阅读活动、无法量化的成果而苦恼; 一线教师在“选...
2025-07-12 12:42:00
“韭菜免收通行费韭菜薹要收...
近日,在四川乐雅高速符溪收费站外,一名司机与收费站员工因运输的韭菜...
2025-07-12 11:41:09
原创 ...
最近台湾岛内所谓的“经济专家”吴嘉隆提出,台湾当局应效仿以色列“先...
2025-07-11 23:13:00
可川科技等成立新公司,含A...
人民财讯7月11日电,企查查APP显示,近日,苏州汉汽可川光子科技...
2025-07-11 16:43:13
聚焦AI新赛道,elexc...
机器人的发展,正在向两个关键词聚焦:物理AI和具身智能。这是由机器...
2025-07-11 16:42:21

热门资讯

原创 2... #春日生活好物种草季#近年来,笔记本电脑市场迎来技术爆发期,尤其在手机厂商跨界入局后,轻薄本在性能、...
AMD锐龙AI 9 HX 37... 2024年6月3日,AMD正式发布全新的锐龙AI 300系列处理器。该系列处理器一经发布就引发大家的...
骁龙本这么猛?联想YOGA A... 在人人都是自媒体的时代,一部手机可以解决出镜拍摄问题,而商务出差、大量码字、图像处理等需求用笔记本则...
5个AI模特生成软件推荐 当前AI模特生成软件市场提供了多样化的解决方案,以下是几款备受推崇的工具: 触站AI:强烈推荐!...
2023年CentOS与Ubu... CentOS与Ubuntu的市场格局与技术特性探讨 在服务器操作系统领域,CentOS与Ubuntu...
苹果macOS 15.1:允许... 苹果公司在其最新的macOS 15.1版本中,推出了一项引人注目的新功能——允许用户将Mac App...
原创 苹... 前言 IQUNIX在做好看的桌面产品上,一直都给我留下非常深刻的印象。而且早期和苹果产品的设计风格...
原创 华... 想在竞争残酷的市场中发力,必须要带来一些激进的卖点,但是随着功能特性的提升,硬件也必须要进行给力才可...
原创 华... 在2024年这个被誉为"AI元年"的关键时刻,随着生成式AI的流行,各家手机厂商都在积极备战AI手机...