Meta 开源 LlamaFirewall 防护工具,助力构建安全 AI 智能体
创始人
2025-05-09 14:47:29
0

IT之家 5 月 9 日消息,Meta AI 公司最新推出 LlamaFirewall,应对 AI 智能体不断演变的威胁格局,为生产环境中的 AI 智能体提供系统级安全保护。

随着大型语言模型(LLMs)嵌入 AI 智能体并被广泛应用于高权限场景,安全隐患随之增加。这些智能体可以读取邮件、生成代码、调用 API,一旦被恶意利用,后果不堪设想。

传统的安全机制,如聊天机器人内容审核或硬编码模型限制,已无法满足具备广泛能力的 AI 智能体需求。Meta AI 针对提示注入攻击、智能体行为与用户目标不一致、以及不安全的代码生成三大核心挑战,开发了 LlamaFirewall。

IT之家援引博文介绍,LlamaFirewall 采用分层框架,包含三个专门的防护模块:

  • PromptGuard 2 是一个基于 BERT 架构的分类器,能实时检测越狱行为和提示注入,支持多语言输入,其 86M 参数模型性能强劲,22M 轻量版本则适合低延迟部署。
  • AlignmentCheck 是一种实验性审计工具,通过分析智能体内部推理轨迹,确保行为与用户目标一致,特别擅长检测间接提示注入。
  • CodeShield 则是一个静态分析引擎,检查 LLM 生成代码中的不安全模式,支持多种编程语言,能在代码提交或执行前捕获 SQL 注入等常见漏洞。

Meta 在 AgentDojo 基准测试中评估了 LlamaFirewall,模拟了 97 个任务领域的提示注入攻击。

结果显示,PromptGuard 2(86M)将攻击成功率(ASR)从 17.6% 降至 7.5%,任务实用性损失极小;AlignmentCheck 进一步将 ASR 降至 2.9%;整体系统将 ASR 降低 90% 至 1.75%,实用性略降至 42.7%。CodeShield 在不安全代码数据集上也表现出色,精准度达 96%,召回率(recall) 79%,响应时间适合生产环境实时使用。

相关内容

外语专业“遇冷”:AI只是...
“人们没有必要恐慌。人工智能是大语言模型,本质仍然是语言。而语言是...
2026-08-03 07:50:23
AI国际合作的中国声音
[ 人工智能不是少数国家的“特权”,而应成为造福全人类的“公共产品...
2026-08-03 07:47:28
开源之争,撕裂硅谷
文|熔财经 每文 7月24日,黄仁勋发出了人生第一条X(原推特)...
2026-08-03 07:40:41
以AI大模型“伏羲”为基础...
台风为何经常“跑偏”?因为大气系统自带“混沌”属性,初始条件差之毫...
2026-08-02 19:37:57
MiniMax H3发布,...
7月31日,稀宇科技(MiniMax)发布新一代多模态生成模型Mi...
2026-08-02 19:21:23
Kimi K3正式开源,全...
2026年7月27日晚,月之暗面kimi正式开源Kimi K3完整...
2026-08-02 19:17:26

热门资讯

67岁男子误信AI喷农药,15... 安徽滁州67岁农户吴大伯因轻信AI生成的除草除虫方案喷洒农药,导致150亩芝麻苗一夜之间全部枯萎,损...
外语专业“遇冷”:AI只是催化... “人们没有必要恐慌。人工智能是大语言模型,本质仍然是语言。而语言是一切学科的基础,没有语言表达,就没...
AI国际合作的中国声音 [ 人工智能不是少数国家的“特权”,而应成为造福全人类的“公共产品”;人工智能治理不是零和博弈的“角...
特斯拉将开源Model S和M... 8月3日消息,据外电报道,三年前,特斯拉在其服务网站上发布了2012款初代特斯拉Roadster的所...
开源之争,撕裂硅谷 文|熔财经 每文 7月24日,黄仁勋发出了人生第一条X(原推特)。 这位英伟达掌门人没有发布新架构...
以AI大模型“伏羲”为基础,新... 台风为何经常“跑偏”?因为大气系统自带“混沌”属性,初始条件差之毫厘,最终路径就可能谬以千里。记者2...
ChinaJoy2026|延伸... 【中国·上海,2026年7月31日】第23届中国国际数码互动娱乐展览会(ChinaJoy)在上海新国...
给中国AI“扣帽子”,遮不住美... 最近,美国对中国AI的围堵,有点歇斯底里。 当地时间7月28日,美国联邦通信委员会(FCC)宣布,将...