乌镇峰会上演“用AI对抗AI”:国内首个AI大模型攻防赛收官
创始人
2024-11-22 16:57:27
0

大赛自9月启动以来,有来自全球18个国家和地区的2700多个赛队、3200余名技术精英参与。通过攻、防双向赛道竞技,大赛最终角逐出全球十强,由来自字节跳动、合合信息科技、济南大学、浙江工业大学、安徽大学、上海交通大学等企业和高校的赛队获得。

据悉,赛事由中国图象图形学学会、蚂蚁集团、云安全联盟(CSA)大中华区联合主办,联合清华大学、上海交通大学、浙江大学、北京科技大学、湖南大学、华中科技大学、北京理工大学等高校及多家产学研组织共同发起,直面并解决大模型应用中潜藏风险,助力全球AI产业健康可持续发展。

全球AI大模型攻防挑战赛十强选手现场对抗AI诈骗 新京报贝壳财经记者罗亦丹/摄

国内首个攻防赛:聚焦AI反诈等大模型安全真实场景

近年来,人工智能技术特别是大模型及AIGC领域飞速发展,给生活带来了前所未有的便利与可能性,也带来了安全方面的挑战。只需10秒,大模型就能克隆声音、复刻照片,甚至能生成“你”的视频,从而引发deepfake欺诈、色情影像伪造、假新闻等社会事件;大模型“越狱”问题频发,诱骗AI听从不怀好意的指令,生成血腥、暴力、歧视、仇恨的图片、视频,危害网络空间安全。

中国工程院院士、中国图象图形学学会理事长王耀南表示,“加强大模型安全保护,构建完善的安全防护体系,是确保人工智能技术持续、稳定、健康发展的关键所在,也是我们在这个充满机遇与挑战的时代必须肩负起的重要使命。”

在这一背景下,全球AI大模型攻防挑战赛聚焦大模型自身安全和大模型生成内容的防伪检测两个赛道,赛题涉及信用成长、凭证审核、商家入驻、智能助理等多个业务场景,覆盖机器学习、图像处理与计算机视觉、数据处理等多个算法领域,通过创新的技术解决方案,进一步保障大模型应用安全和产业安全。

“通过攻防实战演练,直面大模型应用中的安全问题,促使大模型安全技术不断进步,从而携手行业迈向更高的安全水平。”蚂蚁集团安全实验室首席科学家、全球AI大模型攻防挑战赛评审委员会委员王维强表示。

AI反诈是当前保护大模型安全最典型、真实的场景之一。“现在AI诈骗越来越隐秘,手法越来越多样,可以模拟亲人的声音、朋友的视频,甚至伪造各种文件,让人们防不胜防。今天的比赛,作为一名人民警察,我感觉非常欣慰,这意味着我们在对抗AI诈骗的道路上,有了更多的力量和智慧。”收官现场,来自桐乡的反诈民警李湘臣向记者说道。

育人才、建标准:推动大模型安全可持续发展

“大赛的举行,汇聚了全球范围内数千位技术精英,为大家提供了技术交流与竞技平台;在这个舞台上,许多优秀的人才脱颖而出,发现和培养一批优秀的安全人才,为行业的未来发展储备智力资源,也是大赛的初衷之一。”中国图象图形学学会副理事长兼秘书长、北京科技大学教授马惠敏表示说。

据悉,除了十强选手之外,为了鼓励比赛方案的算法创新性和资源绿色性,大赛还特别评选出“杰出方案奖”,分别由西安交通大学、上海交通大学及理想汽车赛队获得。此外,蚂蚁集团在现场为优秀选手颁发直通offer。

中国科学院计算技术研究所副研究员敖翔在现场表示:“人工智能技术的飞速发展为人才提供了广阔的发展空间和创新平台,而AI领域的快速变化也对人才的知识结构、技能水平和创新能力提出了更高的要求,AI时代人才的成长离不开产学研的密切合作。”

此外,活动现场,中国信通院启动“护证计划”,呼吁共建行业标准,守护用户的身份安全。蚂蚁集团积极响应加入该计划,宣布其推出的凭证可信认证平台蚂蚁光鉴将逐步升级,未来打造成为集合智能证照核身处理系统、智能声音核身处理系统、智能视频核身处理系统于一体的新一代AI核身系统。

IIFAA互联网可信认证联盟也正式对外发布《IIFAA基于移动智能终端的凭证文件验证服务检测规范》,该规范对凭证文件验证服务的功能、性能要求以及评估方法做了详细说明,以提升凭证文件验证的效率和安全性,推动行业的标准化进程。

“只有当技术、规范和意识三者协同发力,加上持续的人才储备,我们才能真正守护好大模型的安全,为其持续健康发展创造良好的条件。”王维强表示说。

新京报贝壳财经记者 罗亦丹 编辑 丁爽 校对 穆祥桐

相关内容

方红庆|AI如何可信?
作者简介|PROFILE 方红庆,上海财经大学哲学系教授。 摘要:...
2025-05-15 20:48:14
阿里巴巴开源视频生成与编辑...
5 月 14 日消息,据《科创板日报》报道,阿里巴巴正式开源通义万...
2025-05-15 13:47:56
吉林省首家AI数字创新基地...
央广网长春5月15日消息(记者刘雨晴)为加快推进数字乡村建设,积极...
2025-05-15 07:19:12
2025 年 Q1 财报 ...
【5 月 14 日下午消息,2025 年第一季度财报发布】报告期内...
2025-05-14 20:48:43
阿里开源全功能视频大模型,...
5月14日,阿里巴巴正式开源通义万相Wan2.1-VACE。据了解...
2025-05-14 20:47:29
佳都科技成立新公司,含多项...
企查查APP显示,近日,深圳市佳都智通科技有限公司成立,法定代表人...
2025-05-14 20:19:48

热门资讯

原创 华... 想在竞争残酷的市场中发力,必须要带来一些激进的卖点,但是随着功能特性的提升,硬件也必须要进行给力才可...
支持 AI 扩图,华为 Pur... 2024-07-28 09:05:02作者:姚立伟 华为Pura 70 Pro手机今日推出鸿蒙Ha...
苹果macOS 15.1:允许... 苹果公司在其最新的macOS 15.1版本中,推出了一项引人注目的新功能——允许用户将Mac App...
吞噬星空维妮娜美图/高清壁纸/... 国漫女神|《吞噬星空》维妮娜美图/高清壁纸/AI手机壁纸/无水印 国漫女神|《吞噬星空》维妮娜美图...
原创 苹... 前言 IQUNIX在做好看的桌面产品上,一直都给我留下非常深刻的印象。而且早期和苹果产品的设计风格...
原创 商... 最近,各家的AI 9笔记本开始陆续登场,其实大家并不一定非选AI 9 HX 370,主要是这颗CPU...
AI智能+高效清洁!萤石RS2... 目前扫拖机器人市场的竞争非常激烈,在上下水扫拖一体机市场也出现了很多所谓的创新产品。但是对于这些产品...