乌镇峰会上演“用AI对抗AI”:国内首个AI大模型攻防赛收官
创始人
2024-11-22 16:57:27
0

大赛自9月启动以来,有来自全球18个国家和地区的2700多个赛队、3200余名技术精英参与。通过攻、防双向赛道竞技,大赛最终角逐出全球十强,由来自字节跳动、合合信息科技、济南大学、浙江工业大学、安徽大学、上海交通大学等企业和高校的赛队获得。

据悉,赛事由中国图象图形学学会、蚂蚁集团、云安全联盟(CSA)大中华区联合主办,联合清华大学、上海交通大学、浙江大学、北京科技大学、湖南大学、华中科技大学、北京理工大学等高校及多家产学研组织共同发起,直面并解决大模型应用中潜藏风险,助力全球AI产业健康可持续发展。

全球AI大模型攻防挑战赛十强选手现场对抗AI诈骗 新京报贝壳财经记者罗亦丹/摄

国内首个攻防赛:聚焦AI反诈等大模型安全真实场景

近年来,人工智能技术特别是大模型及AIGC领域飞速发展,给生活带来了前所未有的便利与可能性,也带来了安全方面的挑战。只需10秒,大模型就能克隆声音、复刻照片,甚至能生成“你”的视频,从而引发deepfake欺诈、色情影像伪造、假新闻等社会事件;大模型“越狱”问题频发,诱骗AI听从不怀好意的指令,生成血腥、暴力、歧视、仇恨的图片、视频,危害网络空间安全。

中国工程院院士、中国图象图形学学会理事长王耀南表示,“加强大模型安全保护,构建完善的安全防护体系,是确保人工智能技术持续、稳定、健康发展的关键所在,也是我们在这个充满机遇与挑战的时代必须肩负起的重要使命。”

在这一背景下,全球AI大模型攻防挑战赛聚焦大模型自身安全和大模型生成内容的防伪检测两个赛道,赛题涉及信用成长、凭证审核、商家入驻、智能助理等多个业务场景,覆盖机器学习、图像处理与计算机视觉、数据处理等多个算法领域,通过创新的技术解决方案,进一步保障大模型应用安全和产业安全。

“通过攻防实战演练,直面大模型应用中的安全问题,促使大模型安全技术不断进步,从而携手行业迈向更高的安全水平。”蚂蚁集团安全实验室首席科学家、全球AI大模型攻防挑战赛评审委员会委员王维强表示。

AI反诈是当前保护大模型安全最典型、真实的场景之一。“现在AI诈骗越来越隐秘,手法越来越多样,可以模拟亲人的声音、朋友的视频,甚至伪造各种文件,让人们防不胜防。今天的比赛,作为一名人民警察,我感觉非常欣慰,这意味着我们在对抗AI诈骗的道路上,有了更多的力量和智慧。”收官现场,来自桐乡的反诈民警李湘臣向记者说道。

育人才、建标准:推动大模型安全可持续发展

“大赛的举行,汇聚了全球范围内数千位技术精英,为大家提供了技术交流与竞技平台;在这个舞台上,许多优秀的人才脱颖而出,发现和培养一批优秀的安全人才,为行业的未来发展储备智力资源,也是大赛的初衷之一。”中国图象图形学学会副理事长兼秘书长、北京科技大学教授马惠敏表示说。

据悉,除了十强选手之外,为了鼓励比赛方案的算法创新性和资源绿色性,大赛还特别评选出“杰出方案奖”,分别由西安交通大学、上海交通大学及理想汽车赛队获得。此外,蚂蚁集团在现场为优秀选手颁发直通offer。

中国科学院计算技术研究所副研究员敖翔在现场表示:“人工智能技术的飞速发展为人才提供了广阔的发展空间和创新平台,而AI领域的快速变化也对人才的知识结构、技能水平和创新能力提出了更高的要求,AI时代人才的成长离不开产学研的密切合作。”

此外,活动现场,中国信通院启动“护证计划”,呼吁共建行业标准,守护用户的身份安全。蚂蚁集团积极响应加入该计划,宣布其推出的凭证可信认证平台蚂蚁光鉴将逐步升级,未来打造成为集合智能证照核身处理系统、智能声音核身处理系统、智能视频核身处理系统于一体的新一代AI核身系统。

IIFAA互联网可信认证联盟也正式对外发布《IIFAA基于移动智能终端的凭证文件验证服务检测规范》,该规范对凭证文件验证服务的功能、性能要求以及评估方法做了详细说明,以提升凭证文件验证的效率和安全性,推动行业的标准化进程。

“只有当技术、规范和意识三者协同发力,加上持续的人才储备,我们才能真正守护好大模型的安全,为其持续健康发展创造良好的条件。”王维强表示说。

新京报贝壳财经记者 罗亦丹 编辑 丁爽 校对 穆祥桐

相关内容

AI赋能游戏“出海” 精准...
本报记者 丁 蓉 今年以来,多地因地制宜出台新政,支持游戏企业拓展...
2025-07-08 10:12:29
扎克伯格继续挖人:苹果负责...
苹果公司负责人工智能模型的高管将跳槽至Meta,这对这家iPhon...
2025-07-08 09:44:55
传苹果公司AI模型负责人庞...
DoNews7月8日消息,据彭博社报道,苹果公司负责 AI 模型的...
2025-07-08 09:43:38
AI时代须防范技术滥用
本报记者 孙奇茹 原本用来提高人类效率的AI工具被用来产出各种以假...
2025-07-08 09:43:30
北京人形机器人创新中心开源...
新京报贝壳财经讯(记者韦博雅)7月7日,北京人形机器人创新中心正式...
2025-07-08 09:11:29
延华智能:探索医疗AI技术...
证券之星消息,延华智能(002178)07月07日在投资者关系平台...
2025-07-07 21:42:31

热门资讯

原创 2... #春日生活好物种草季#近年来,笔记本电脑市场迎来技术爆发期,尤其在手机厂商跨界入局后,轻薄本在性能、...
AMD锐龙AI 9 HX 37... 2024年6月3日,AMD正式发布全新的锐龙AI 300系列处理器。该系列处理器一经发布就引发大家的...
骁龙本这么猛?联想YOGA A... 在人人都是自媒体的时代,一部手机可以解决出镜拍摄问题,而商务出差、大量码字、图像处理等需求用笔记本则...
5个AI模特生成软件推荐 当前AI模特生成软件市场提供了多样化的解决方案,以下是几款备受推崇的工具: 触站AI:强烈推荐!...
2023年CentOS与Ubu... CentOS与Ubuntu的市场格局与技术特性探讨 在服务器操作系统领域,CentOS与Ubuntu...
苹果macOS 15.1:允许... 苹果公司在其最新的macOS 15.1版本中,推出了一项引人注目的新功能——允许用户将Mac App...
原创 苹... 前言 IQUNIX在做好看的桌面产品上,一直都给我留下非常深刻的印象。而且早期和苹果产品的设计风格...
原创 华... 想在竞争残酷的市场中发力,必须要带来一些激进的卖点,但是随着功能特性的提升,硬件也必须要进行给力才可...
原创 华... 在2024年这个被誉为"AI元年"的关键时刻,随着生成式AI的流行,各家手机厂商都在积极备战AI手机...