新的AI谣言加剧“认知战争” 面对低质AI内容治理,今日头条如何接招?
创始人
2025-02-25 13:50:01
0

AI技术飞速发展给每个领域带来的,既是一次来自新时代的重塑,也是一场前所未有的挑战。

“在AI技术的加持下,我们发现网络谣言的发展呈现出了一些新的特征。”在2月24日举办的今日头条“平台治理开放日”活动上,清华大学新闻与传播学院副教授陆洪磊表示,AI谣言在跨平台影响力、传播速度以及逼真性上都比传统谣言更具破坏性。

作为国内一大内容平台,面对“进化”中的虚假信息和低质内容,今日头条的拦截措施也在与时俱进。

“人工审核的投入会越来越少,因为头条上的发文量级巨大,纯靠人去审核是不可能的,所以目前占比90%以上的审核通过机器来做。”今日头条安全运营负责人闫梦茹在接受《每日经济新闻》记者采访时表示,“但机器审核的准确率还不是100%,没有人工准确,需要人不断去校准机器、给它投喂更准确的样本去训练它。”

图片来源:每经记者 杨昕怡 摄

“除了谣言这一‘老课题’,低质AI(内容)的治理是我们的一个新命题。”今日头条生态治理运营负责人韩雨桐表示,“在过去一年中,我们对于低质AI发文治理工作投入了大量的精力,包括但不限于不断升级、迭代AI低质模型的识别能力,收严低质AI内容治理标准等。”

记者在活动现场了解到,2024年,今日头条对超93万条低质AI内容进行了识别和管控;对近3万个利用AI批量发布虚假低质内容或恶意抄袭、洗稿他人的账号进行了处罚;站内用户对AI相关的负向反馈声量,从年初的每天近28条降低至目前的每天1到2条。

“90%以上的审核通过机器”,今日头条“用魔法打败魔法”

AI时代的信息爆炸中,虚假信息和低质内容的泛滥为内容平台治理设下了重重难关。

首先在低质量的同质化内容治理上,闫梦茹指出,近年来AI技术快速发展,大模型能力迭代快、效果好。虽然提高了创作者的写作效率,但也降低了低质内容的洗稿成本。并且,现在市面上出现了很多专业化洗稿工具,可以支持绑定账号批量提供AI文章,还可以招聘兼职人员批量复制发文。

她表示,相比其他平台,今日头条在时政、历史等领域内容的用户更多,“所以我们的治理难度也会更大”。

对于同质化内容的发现和识别方式,闫梦茹介绍,今日头条内部有巡查团队,实时巡查站内高风险的同质化内容。其次,内部会通过模型识别和人工评估相结合的方式,对同质化内容进行二次与综合判定和评估,以确保准确性。

“在坚持AI低质内容治理层面,目前常用的手段其实就是在拿AI去对抗AI。”陆洪磊提出了三点治理建议,分别是迭代、加强机器识别能力,加强人工审核能力以及上线“AI创作标签”来帮助用户鉴别AI内容,保持理性思考。

对此,闫梦茹表示,目前今日头条在人工审核的投入会越来越少,“占比90%以上的审核通过机器来做”。“但机器审核有弊端,准确率还不是100%,没有人工准确,需要人不断去校准机器、给它投喂更准确的样本去训练它。”

她向记者表示,内部在内容治理上运用了多个不同类别的模型。“比如在处理虚假内容问题上,可能有大大小小几十个模型,每个效果都不太一样,最好的(模型)在‘实锤’谣言上的准确率有100%。”

同时,韩雨桐介绍,对于虚假谣言,今日头条早已建立起三大核心治理能力,包括谣言库、权威信源库以及专业审核团队。

她还指出,今日头条于2024年在发文下方增加权威媒体报道来源标签,在保障资讯真实性的基础上,为用户提供了更多客观视角。

记者了解到,2024年,今日头条累计拦截不实信息超500万条,封禁造谣、传谣等违规账号4.77万个;平台去年全年还拦截和处置涉嫌诈骗内容超200万条,禁封涉嫌诈骗账号17.85万个,配合警方抓捕87人。

“认知战争”面前,内容平台如何获得主动权?

“我们正面临一场前所未有的认知战争。”在陆洪磊看来,过去的谣言是一种隐蔽的、分散的公众情绪,而网络时代的谣言往往具备新闻性、说服性、非官方性和强传播性。“新的AI谣言将越来越逼近真话,专业媒体人可能都要进行实时核查才能判断这个消息是不是真的,它的破坏性将成倍增加。”

例如,今年1月西藏日喀则市定日县突发6.8级地震后,一张废墟中被埋儿童的照片在社交平台热传,引发公众关切。而后经查证,该图实为2024年11月某创作者标注的AI生成作品,被部分自媒体盗用并打上地震相关标签博取流量。

另外,清华大学新闻与传播学院新媒体研究中心在2024年4月发布的一份研究报告显示,近一年来,经济与企业类AI谣言量增速达99.91%。

在开放日现场,北京师范大学法学院院长、教授梁迎修表示,对于AI虚假谣言,网络平台要积极承担社会责任,重视内容整治,同时政府机构、媒体、公众等更应加强协同,网络谣言治理需要多方综合施策。

“一方面我们要去打击、消灭假的信息,另一方面也希望用平台的力量去主动传播真实的信息。”今日头条内容策划负责人刘姗姗在开放日现场谈及了《头条讲真的》项目的创办初衷。

记者了解到,自2023年以来,今日头条推出了《头条讲真的》项目。该项目以“传播真实信息”为理念,把“硬核科普”作为主要传播方向,平台联合医学、财经、法律等领域专业创作者,为用户进行辟谣、反诈宣传。截至2024年,《头条讲真的》发布科普、辟谣等主题视频在全网话题讨论量已超36亿。

相关内容

百度AI岗扩招超六成
本报讯(记者 孙奇茹)记者昨日获悉,“百度AIDU计划”招聘岗位近...
2025-07-05 06:10:46
AI又整活儿!千字长文秒变...
播客新玩法这样把文章“聊活” 作者/ IT时报记者 潘少颖 编辑/...
2025-07-04 21:42:49
卓易信息:通过多智能体协作...
证券之星消息,卓易信息(688258)07月04日在投资者关系平台...
2025-07-04 18:13:00
光弘科技:公司并未向小米A...
光弘科技7月3日在互动平台表示,公司并未向 小米AI眼镜提供感知元...
2025-07-03 17:12:52
原创 ...
俄乌战争正经历一场深刻的转折,这场冲突不仅是枪炮相对的较量,更是各...
2025-07-03 14:12:53
原创 ...
多模态大模型正在从“看得见”走向“看得懂、想得通”。 智谱正式发布...
2025-07-02 15:40:54

热门资讯

原创 2... #春日生活好物种草季#近年来,笔记本电脑市场迎来技术爆发期,尤其在手机厂商跨界入局后,轻薄本在性能、...
AMD锐龙AI 9 HX 37... 2024年6月3日,AMD正式发布全新的锐龙AI 300系列处理器。该系列处理器一经发布就引发大家的...
骁龙本这么猛?联想YOGA A... 在人人都是自媒体的时代,一部手机可以解决出镜拍摄问题,而商务出差、大量码字、图像处理等需求用笔记本则...
5个AI模特生成软件推荐 当前AI模特生成软件市场提供了多样化的解决方案,以下是几款备受推崇的工具: 触站AI:强烈推荐!...
2023年CentOS与Ubu... CentOS与Ubuntu的市场格局与技术特性探讨 在服务器操作系统领域,CentOS与Ubuntu...
苹果macOS 15.1:允许... 苹果公司在其最新的macOS 15.1版本中,推出了一项引人注目的新功能——允许用户将Mac App...
原创 苹... 前言 IQUNIX在做好看的桌面产品上,一直都给我留下非常深刻的印象。而且早期和苹果产品的设计风格...
原创 华... 想在竞争残酷的市场中发力,必须要带来一些激进的卖点,但是随着功能特性的提升,硬件也必须要进行给力才可...
原创 华... 在2024年这个被誉为"AI元年"的关键时刻,随着生成式AI的流行,各家手机厂商都在积极备战AI手机...