（来源：MIT TR）

被称为现代人工智能领域的“教父”之一、身为图灵奖得主的 Yoshua Bengio，正在全力支持一个为人工智能系统嵌入安全机制的项目，该项目由英国政府出资。

这个名为“安全守护 AI”（Safeguarded AI）的项目旨在构建一个人工智能系统，能够检查在关键领域部署的其他 AI 系统的安全性。Bengio 将作为科学总监加入这一项目，并将提供关键性意见和科学建议。该项目将在未来四年获得 5900 万英镑的资金，这些资金来自英国高级研究与发明署（Advanced Research and Invention Agency, ARIA），该机构于去年一月成立，目的是投资具有潜在变革性的科学研究。

相关项目（来源：ARIA）

“安全守护 AI”的目标是构建能够提供定量保证的人工智能系统，例如风险评分，以评估其对现实世界的影响，根据 ARIA 的“安全守护 AI”计划负责人 David Dalrymple 所说，该想法是利用数学分析来补充人工测试，评估新系统的潜在危害。

该项目希望通过结合本质上是世界模拟的科学模型与数学证明相结合，来构建 AI 安全机制。这些证明将包括对 AI 工作的解释，而人类的任务是验证 AI 模型的安全检查是否正确。

Bengio 表示，他希望确保未来的 AI 系统不会带来严重损害。“我们正冲向一片迷雾，迷雾背后可能就是悬崖，”他说，“我们不知道悬崖有多远，甚至不确定是否存在这样的悬崖，这可能是几年后，也可能是几十年后的事情，我们也不知道它会有多么严重……我们需要开发工具来驱散这片迷雾，确保我们不会冲向悬崖。”

“科技公司目前无法在数学上确保 AI 系统会按照预定的方式运行，”他补充道，“这种不可靠可能会导致灾难性的后果。”

Dalrymple 和 Bengio 认为，当前用来缓解高级 AI 系统风险的技术手段（例如红队测试，即人们探测人工智能系统是否存在缺陷），存在严重的局限性，不能完全依赖它们来确保关键系统不偏离轨道。

相反，他们希望该计划能提供新的方式来保障 AI 系统的安全，减少对人力的依赖，更多地依赖数学确定性。他们的愿景是建立一个“守门员” AI，负责理解和降低其他 AI 代理的安全风险。这个守门员 AI 将确保那些在高风险领域运作的 AI 代理，如交通或能源系统，能够按预期运行。Dalrymple 说，该计划的想法是尽早与企业合作，了解 AI 安全机制如何适用于不同的行业。

Bengio 认为高级系统的复杂性意味着我们别无选择，只能使用 AI 来保障 AI 的安全。“这是唯一的方法，因为到了某个阶段，当这些 AI 变得过于复杂，即使是现在我们所拥有的 AI，也无法真正将答案分解成人类可以理解的推理步骤序列。”他说。

下一步是实际构建能够检查其他 AI 系统的模型，这也是“安全守护 AI”和 ARIA 希望改变 AI 行业现状的地方。

ARIA 还向运输、电信、供应链和医学研究等高风险行业的个人或组织提供资金，帮助他们开发可能受益于 AI 安全机制的应用程序。第一年的总资金为 540 万英镑，之后一年再提供 820 万英镑，申请截止日期为 10 月 2 日。

该机构也在广泛寻找有兴趣通过非营利组织来构建“安全守护 AI”的安全机制的人才。ARIA 预计将投入高达 1800 万英镑设立这样一个组织，并将在明年年初接受资金申请。

Dalrymple 表示，该计划正在寻找提案来启动一个拥有多元化董事会的非营利组织，该董事会涵盖许多不同行业，以便以可靠和可信的方式开展这项工作。这类似于 OpenAI 在改变战略更加注重产品和利润之前、最初成立的目的。

该组织的董事会不仅将负责监督 CEO，还将参与决定是否开展某些研究项目，以及是否发布特定论文和 API，他补充道。

“安全守护 AI”项目是英国将自己定位为“ AI 安全先驱”这一使命的一部分。2023 年 11 月，该国举办了首届 AI 安全峰会，汇聚了世界领导人和技术专家讨论如何以安全的方式构建技术。

首届 AI 安全峰会（来源：GOV.UK）

虽然资助计划倾向于英国本地申请人，但 ARIA 正在全球范围内寻找有兴趣来到英国的人才，Dalrymple 说。此外，ARIA 还有一个知识产权机制，用于资助海外营利性公司，允许版税回归英国。

Bengio 主导了《国际高级 AI 安全科学报告》，该报告涉及 30 个国家以及欧盟和联合国。他表示，他被该项目吸引是因为它促进了国际间在 AI 安全方面的合作，而作为 AI 安全的积极倡导者，他曾参与了一个有影响力的游说团体，警告超级智能 AI 可能带来生存风险。

“我们需要将如何应对 AI 风险的讨论扩大到更广泛的全球参与者，”Bengio 说，“这个项目让我们更接近这个目标。”

原文链接：

https://www.technologyreview.com/2024/08/07/1095879/ai-godfather-yoshua-bengio-joins-uk-project-to-prevent-ai-catastrophes/