新的AI谣言加剧“认知战争” 面对低质AI内容治理,今日头条如何接招?
创始人
2025-02-25 13:50:01
0

AI技术飞速发展给每个领域带来的,既是一次来自新时代的重塑,也是一场前所未有的挑战。

“在AI技术的加持下,我们发现网络谣言的发展呈现出了一些新的特征。”在2月24日举办的今日头条“平台治理开放日”活动上,清华大学新闻与传播学院副教授陆洪磊表示,AI谣言在跨平台影响力、传播速度以及逼真性上都比传统谣言更具破坏性。

作为国内一大内容平台,面对“进化”中的虚假信息和低质内容,今日头条的拦截措施也在与时俱进。

“人工审核的投入会越来越少,因为头条上的发文量级巨大,纯靠人去审核是不可能的,所以目前占比90%以上的审核通过机器来做。”今日头条安全运营负责人闫梦茹在接受《每日经济新闻》记者采访时表示,“但机器审核的准确率还不是100%,没有人工准确,需要人不断去校准机器、给它投喂更准确的样本去训练它。”

图片来源:每经记者 杨昕怡 摄

“除了谣言这一‘老课题’,低质AI(内容)的治理是我们的一个新命题。”今日头条生态治理运营负责人韩雨桐表示,“在过去一年中,我们对于低质AI发文治理工作投入了大量的精力,包括但不限于不断升级、迭代AI低质模型的识别能力,收严低质AI内容治理标准等。”

记者在活动现场了解到,2024年,今日头条对超93万条低质AI内容进行了识别和管控;对近3万个利用AI批量发布虚假低质内容或恶意抄袭、洗稿他人的账号进行了处罚;站内用户对AI相关的负向反馈声量,从年初的每天近28条降低至目前的每天1到2条。

“90%以上的审核通过机器”,今日头条“用魔法打败魔法”

AI时代的信息爆炸中,虚假信息和低质内容的泛滥为内容平台治理设下了重重难关。

首先在低质量的同质化内容治理上,闫梦茹指出,近年来AI技术快速发展,大模型能力迭代快、效果好。虽然提高了创作者的写作效率,但也降低了低质内容的洗稿成本。并且,现在市面上出现了很多专业化洗稿工具,可以支持绑定账号批量提供AI文章,还可以招聘兼职人员批量复制发文。

她表示,相比其他平台,今日头条在时政、历史等领域内容的用户更多,“所以我们的治理难度也会更大”。

对于同质化内容的发现和识别方式,闫梦茹介绍,今日头条内部有巡查团队,实时巡查站内高风险的同质化内容。其次,内部会通过模型识别和人工评估相结合的方式,对同质化内容进行二次与综合判定和评估,以确保准确性。

“在坚持AI低质内容治理层面,目前常用的手段其实就是在拿AI去对抗AI。”陆洪磊提出了三点治理建议,分别是迭代、加强机器识别能力,加强人工审核能力以及上线“AI创作标签”来帮助用户鉴别AI内容,保持理性思考。

对此,闫梦茹表示,目前今日头条在人工审核的投入会越来越少,“占比90%以上的审核通过机器来做”。“但机器审核有弊端,准确率还不是100%,没有人工准确,需要人不断去校准机器、给它投喂更准确的样本去训练它。”

她向记者表示,内部在内容治理上运用了多个不同类别的模型。“比如在处理虚假内容问题上,可能有大大小小几十个模型,每个效果都不太一样,最好的(模型)在‘实锤’谣言上的准确率有100%。”

同时,韩雨桐介绍,对于虚假谣言,今日头条早已建立起三大核心治理能力,包括谣言库、权威信源库以及专业审核团队。

她还指出,今日头条于2024年在发文下方增加权威媒体报道来源标签,在保障资讯真实性的基础上,为用户提供了更多客观视角。

记者了解到,2024年,今日头条累计拦截不实信息超500万条,封禁造谣、传谣等违规账号4.77万个;平台去年全年还拦截和处置涉嫌诈骗内容超200万条,禁封涉嫌诈骗账号17.85万个,配合警方抓捕87人。

“认知战争”面前,内容平台如何获得主动权?

“我们正面临一场前所未有的认知战争。”在陆洪磊看来,过去的谣言是一种隐蔽的、分散的公众情绪,而网络时代的谣言往往具备新闻性、说服性、非官方性和强传播性。“新的AI谣言将越来越逼近真话,专业媒体人可能都要进行实时核查才能判断这个消息是不是真的,它的破坏性将成倍增加。”

例如,今年1月西藏日喀则市定日县突发6.8级地震后,一张废墟中被埋儿童的照片在社交平台热传,引发公众关切。而后经查证,该图实为2024年11月某创作者标注的AI生成作品,被部分自媒体盗用并打上地震相关标签博取流量。

另外,清华大学新闻与传播学院新媒体研究中心在2024年4月发布的一份研究报告显示,近一年来,经济与企业类AI谣言量增速达99.91%。

在开放日现场,北京师范大学法学院院长、教授梁迎修表示,对于AI虚假谣言,网络平台要积极承担社会责任,重视内容整治,同时政府机构、媒体、公众等更应加强协同,网络谣言治理需要多方综合施策。

“一方面我们要去打击、消灭假的信息,另一方面也希望用平台的力量去主动传播真实的信息。”今日头条内容策划负责人刘姗姗在开放日现场谈及了《头条讲真的》项目的创办初衷。

记者了解到,自2023年以来,今日头条推出了《头条讲真的》项目。该项目以“传播真实信息”为理念,把“硬核科普”作为主要传播方向,平台联合医学、财经、法律等领域专业创作者,为用户进行辟谣、反诈宣传。截至2024年,《头条讲真的》发布科普、辟谣等主题视频在全网话题讨论量已超36亿。

相关内容

惠伦晶体:公司产品可以与A...
证券之星消息,惠伦晶体(300460)03月13日在投资者关系平台...
2025-03-13 21:40:31
网警提醒甄别AI生成网络谣...
典型AI谣言场景:伪造热点事件、捏造名人言论、炮制伪科普、嫁接虚假...
2025-03-13 19:12:34
培育可信、可靠、负责任的A...
党的二十届三中全会强调,建立人工智能安全监管制度。对于生成式AI等...
2025-03-13 15:41:49
AI制作的图,版权到底归谁...
“我被盗图了?” 李昀锴没想到 自己的维权 促成了AI行业又一个“...
2025-03-13 12:41:13
AI助力基层治理 增强基层...
本报讯(记者 覃岩峰 通讯员 胡效铭 陈娜)近日,郑东新区龙子湖街...
2025-03-13 10:14:44
原生基于AMD平台!Dee...
快科技3月13日消息,AMD携手清醒异构公司的AI应用联合实验室(...
2025-03-13 06:12:09

热门资讯

原创 华... 想在竞争残酷的市场中发力,必须要带来一些激进的卖点,但是随着功能特性的提升,硬件也必须要进行给力才可...
支持 AI 扩图,华为 Pur... 2024-07-28 09:05:02作者:姚立伟 华为Pura 70 Pro手机今日推出鸿蒙Ha...
苹果macOS 15.1:允许... 苹果公司在其最新的macOS 15.1版本中,推出了一项引人注目的新功能——允许用户将Mac App...
吞噬星空维妮娜美图/高清壁纸/... 国漫女神|《吞噬星空》维妮娜美图/高清壁纸/AI手机壁纸/无水印 国漫女神|《吞噬星空》维妮娜美图...
原创 苹... 前言 IQUNIX在做好看的桌面产品上,一直都给我留下非常深刻的印象。而且早期和苹果产品的设计风格...
原创 商... 最近,各家的AI 9笔记本开始陆续登场,其实大家并不一定非选AI 9 HX 370,主要是这颗CPU...
AI智能+高效清洁!萤石RS2... 目前扫拖机器人市场的竞争非常激烈,在上下水扫拖一体机市场也出现了很多所谓的创新产品。但是对于这些产品...
2024年度中国银行业发展报告... 21世纪经济报道 记者李愿 北京报道 10月19日,中国银行业协会在2024金融街论坛年会·金融街之...