AI风险谁来防护?图灵奖得主:还是AI
创始人
2024-08-08 16:38:57
0

(来源:MIT TR)

被称为现代人工智能领域的“教父”之一、身为图灵奖得主的 Yoshua Bengio,正在全力支持一个为人工智能系统嵌入安全机制的项目,该项目由英国政府出资。

这个名为“安全守护 AI”(Safeguarded AI)的项目旨在构建一个人工智能系统,能够检查在关键领域部署的其他 AI 系统的安全性。Bengio 将作为科学总监加入这一项目,并将提供关键性意见和科学建议。该项目将在未来四年获得 5900 万英镑的资金,这些资金来自英国高级研究与发明署(Advanced Research and Invention Agency, ARIA),该机构于去年一月成立,目的是投资具有潜在变革性的科学研究。

相关项目(来源:ARIA)

“安全守护 AI”的目标是构建能够提供定量保证的人工智能系统,例如风险评分,以评估其对现实世界的影响,根据 ARIA 的“安全守护 AI”计划负责人 David Dalrymple 所说,该想法是利用数学分析来补充人工测试,评估新系统的潜在危害。

该项目希望通过结合本质上是世界模拟的科学模型与数学证明相结合,来构建 AI 安全机制。这些证明将包括对 AI 工作的解释,而人类的任务是验证 AI 模型的安全检查是否正确。

Bengio 表示,他希望确保未来的 AI 系统不会带来严重损害。“我们正冲向一片迷雾,迷雾背后可能就是悬崖,”他说,“我们不知道悬崖有多远,甚至不确定是否存在这样的悬崖,这可能是几年后,也可能是几十年后的事情,我们也不知道它会有多么严重……我们需要开发工具来驱散这片迷雾,确保我们不会冲向悬崖。”

“科技公司目前无法在数学上确保 AI 系统会按照预定的方式运行,”他补充道,“这种不可靠可能会导致灾难性的后果。”

Dalrymple 和 Bengio 认为,当前用来缓解高级 AI 系统风险的技术手段(例如红队测试,即人们探测人工智能系统是否存在缺陷),存在严重的局限性,不能完全依赖它们来确保关键系统不偏离轨道。

相反,他们希望该计划能提供新的方式来保障 AI 系统的安全,减少对人力的依赖,更多地依赖数学确定性。他们的愿景是建立一个“守门员” AI,负责理解和降低其他 AI 代理的安全风险。这个守门员 AI 将确保那些在高风险领域运作的 AI 代理,如交通或能源系统,能够按预期运行。Dalrymple 说,该计划的想法是尽早与企业合作,了解 AI 安全机制如何适用于不同的行业。

Bengio 认为高级系统的复杂性意味着我们别无选择,只能使用 AI 来保障 AI 的安全。“这是唯一的方法,因为到了某个阶段,当这些 AI 变得过于复杂,即使是现在我们所拥有的 AI,也无法真正将答案分解成人类可以理解的推理步骤序列。”他说。

下一步是实际构建能够检查其他 AI 系统的模型,这也是“安全守护 AI”和 ARIA 希望改变 AI 行业现状的地方。

ARIA 还向运输、电信、供应链和医学研究等高风险行业的个人或组织提供资金,帮助他们开发可能受益于 AI 安全机制的应用程序。第一年的总资金为 540 万英镑,之后一年再提供 820 万英镑,申请截止日期为 10 月 2 日。

该机构也在广泛寻找有兴趣通过非营利组织来构建“安全守护 AI”的安全机制的人才。ARIA 预计将投入高达 1800 万英镑设立这样一个组织,并将在明年年初接受资金申请。

Dalrymple 表示,该计划正在寻找提案来启动一个拥有多元化董事会的非营利组织,该董事会涵盖许多不同行业,以便以可靠和可信的方式开展这项工作。这类似于 OpenAI 在改变战略更加注重产品和利润之前、最初成立的目的。

该组织的董事会不仅将负责监督 CEO,还将参与决定是否开展某些研究项目,以及是否发布特定论文和 API,他补充道。

“安全守护 AI”项目是英国将自己定位为“ AI 安全先驱”这一使命的一部分。2023 年 11 月,该国举办了首届 AI 安全峰会,汇聚了世界领导人和技术专家讨论如何以安全的方式构建技术。

首届 AI 安全峰会(来源:GOV.UK)

虽然资助计划倾向于英国本地申请人,但 ARIA 正在全球范围内寻找有兴趣来到英国的人才,Dalrymple 说。此外,ARIA 还有一个知识产权机制,用于资助海外营利性公司,允许版税回归英国。

Bengio 主导了《国际高级 AI 安全科学报告》,该报告涉及 30 个国家以及欧盟和联合国。他表示,他被该项目吸引是因为它促进了国际间在 AI 安全方面的合作,而作为 AI 安全的积极倡导者,他曾参与了一个有影响力的游说团体,警告超级智能 AI 可能带来生存风险。

“我们需要将如何应对 AI 风险的讨论扩大到更广泛的全球参与者,”Bengio 说,“这个项目让我们更接近这个目标。”

原文链接:

https://www.technologyreview.com/2024/08/07/1095879/ai-godfather-yoshua-bengio-joins-uk-project-to-prevent-ai-catastrophes/

相关内容

龙芯中科:通过IP授权、开...
证券之星消息,龙芯中科(688047)07月10日在投资者关系平台...
2025-07-10 21:12:41
原创 ...
在这个瞬息万变的国际局势中,菲律宾国防部长特奥多罗近日作出了一个令...
2025-07-10 17:42:24
让AI在企业真能用、真落地...
7月9日,飞书发布了知识问答、AI会议、Aily、飞书妙搭等多款A...
2025-07-09 14:41:16
还在为AI数据发愁?张文涛...
1. 基本介绍 近年来,大模型发展主要由大型科技公司主导,其领先的...
2025-07-09 10:42:14
AI六小虎,胜利大逃亡?
文 | 光子星球 隔壁阿里Qwen3刷新模型记录,字节豆包全家桶...
2025-07-08 23:12:47
英国皇家智库:以中国现在的...
【文/观察者网 王一】随着中国经济影响力、技术实力的不断崛起,英国...
2025-07-08 20:42:41

热门资讯

原创 2... #春日生活好物种草季#近年来,笔记本电脑市场迎来技术爆发期,尤其在手机厂商跨界入局后,轻薄本在性能、...
AMD锐龙AI 9 HX 37... 2024年6月3日,AMD正式发布全新的锐龙AI 300系列处理器。该系列处理器一经发布就引发大家的...
骁龙本这么猛?联想YOGA A... 在人人都是自媒体的时代,一部手机可以解决出镜拍摄问题,而商务出差、大量码字、图像处理等需求用笔记本则...
5个AI模特生成软件推荐 当前AI模特生成软件市场提供了多样化的解决方案,以下是几款备受推崇的工具: 触站AI:强烈推荐!...
2023年CentOS与Ubu... CentOS与Ubuntu的市场格局与技术特性探讨 在服务器操作系统领域,CentOS与Ubuntu...
苹果macOS 15.1:允许... 苹果公司在其最新的macOS 15.1版本中,推出了一项引人注目的新功能——允许用户将Mac App...
原创 苹... 前言 IQUNIX在做好看的桌面产品上,一直都给我留下非常深刻的印象。而且早期和苹果产品的设计风格...
原创 华... 想在竞争残酷的市场中发力,必须要带来一些激进的卖点,但是随着功能特性的提升,硬件也必须要进行给力才可...
原创 华... 在2024年这个被誉为"AI元年"的关键时刻,随着生成式AI的流行,各家手机厂商都在积极备战AI手机...