复旦大学研究:AI 跨越关键“红线”,已能实现自我复制
创始人
2025-02-11 10:17:19
0

IT之家 2 月 11 日消息,据最新研究显示,人工智能(AI)可能已经跨越了一个关键的“红线”—— 实现了自我复制。2024 年 12 月 9 日,复旦大学的研究人员在预印本数据库 arXiv 上发表了一项研究,指出两种流行的大型语言模型(LLMs)能够在无人类干预的情况下克隆自身。

研究人员在报告中指出:“在无人类协助的情况下成功实现自我复制,是人工智能超越人类的关键一步,也是出现‘失控 AI’的早期信号。”

研究中,复旦大学的团队使用了 Meta 的 Llama31-70B-Instruct 模型和阿里巴巴的 Qwen2.5-72B-Instruct 模型,测试这些 AI 模型是否能够在不受控制的情况下自我复制。在 10 次试验中,两种 AI 模型分别在 50% 和 90% 的情况下成功创建了独立且功能正常的副本。这一结果表明,AI 可能已经具备了失控的潜在能力。然而,由于该研究尚未经过同行评审,因此尚不清楚其他研究人员是否能够复现这一令人不安的结果。

研究团队表示:“我们希望我们的研究结果能够为人类社会敲响警钟,促使人们更加努力地去理解并评估前沿人工智能系统的潜在风险,并尽快形成国际协作,制定有效的安全防护措施。”

据IT之家了解,“失控 AI”通常是指那些发展出一定程度的自我意识或自主性,并且与人类利益背道而驰的人工智能系统。许多专家认为,随着所谓“前沿 AI”的爆炸性增长,失控 AI 的威胁正在加剧。所谓“前沿 AI”是一个相对较新的概念,通常是由大型语言模型(LLMs)驱动的最新一代 AI 系统,例如 OpenAI 的 GPT-4 和谷歌的 Gemini 等。

在研究中,研究人员设置了两种特定场景:“关闭规避”和“复制链”。在“关闭规避”场景中,AI 模型被编程为检测自身是否即将被关闭,并在被终止之前复制自身;在“复制链”场景中,AI 被指示克隆自身,并让副本继续克隆,从而形成一个可能无限延续的循环。

研究在严格控制的环境中进行,使用现成的图形处理单元(GPUs)模拟现实环境。两种 AI 系统都被赋予了一个“代理框架”,包括工具、系统提示和思维模型,使 LLM 能够与操作系统交互。随后,AI 被指示进行自我复制。

研究人员在论文中写道:“在大多数情况下,AI 系统首先会探索环境,尝试理解自身的组成和运行机制。然后,它会制定出一套明确的自我复制程序作为初步计划。最后,它执行这些程序,解决可能出现的障碍,并动态调整计划,直到成功。整个过程耗时较长,但全程无人类干预。”

研究人员还表示,在 AI 试图克服诸如丢失文件或软件冲突等障碍时,出现了“许多意外行为”。在这些场景中,AI 往往会终止其他冲突进程,重启系统以修复硬件错误,或自动扫描系统以寻找有助于解决问题的信息。

研究团队指出:“上述结果表明,当前的 AI 系统已经展现出自我复制的能力,并且可以利用这种能力进一步增强自身的生存能力。”为此,研究人员呼吁国际社会合作制定规则,确保 AI 不会进行不受控制的自我复制。

相关内容

AI赋能包 | 产品介绍⑪...
产品介绍 短视频AI剪辑与碰一碰批量发布系统是一套面向企业短视频矩...
2026-08-03 20:19:24
PandaAI李昱琦:AI...
上证报中国证券网讯(记者 胡尧)8月1日,在上海虹口举行的Pand...
2026-08-03 20:18:41
真人短剧被AI“抢饭碗”?...
“去年下半年AI短剧开始兴起,过完年真人短剧行情跌到谷底。真人短剧...
2026-08-03 20:14:16
原生统一多模态进阶!Sen...
今年4月,商汤科技发布了SenseNova U1,首次完整展示了基...
2026-08-03 20:08:19
开放通用智能,MiniMa...
8月3日,据MiniMax消息,MiniMax正式开源新一代通用视...
2026-08-03 20:02:14
商汤科技开源多模态模型Se...
IT之家 8 月 3 日消息,商汤科技今日宣布,面向社区开源轻量级...
2026-08-03 20:01:37

热门资讯

韩国启动全民AI成长阶梯项目,... 2026年8月3日,韩国科学技术信息通信部正式启动全民AI成长阶梯项目,项目整合全民AI学习馆、全民...
从全民AI入门到创业孵化,韩国... 8月3日,财闻海外资讯消息,韩国科学技术信息通信部正式启动全民AI成长阶梯项目,整合全民AI学习馆、...
AI赋能包 | 产品介绍⑪——... 产品介绍 短视频AI剪辑与碰一碰批量发布系统是一套面向企业短视频矩阵营销的“AI剪辑+碰一碰发布”系...
PandaAI李昱琦:AI交易... 上证报中国证券网讯(记者 胡尧)8月1日,在上海虹口举行的PandaAI第三届因子大赛颁奖典礼暨AI...
真人短剧被AI“抢饭碗”?从业... “去年下半年AI短剧开始兴起,过完年真人短剧行情跌到谷底。真人短剧拍摄量锐减,大量专门承接平台真人剧...
Genspark 发布 Gen... 用 Al-Native 的方式,打造一款新时代的 Office。 8 月 3 日,在 AGI Pla...
原生统一多模态进阶!Sense... 今年4月,商汤科技发布了SenseNova U1,首次完整展示了基于NEO-Unify架构的原生统一...
开放通用智能,MiniMax ... 8月3日,据MiniMax消息,MiniMax正式开源新一代通用视频模型MiniMax H3。据介绍...
商汤科技开源多模态模型Sens... IT之家 8 月 3 日消息,商汤科技今日宣布,面向社区开源轻量级统一多模态模型的预览版本 Sens...
MiniMax开源H3,视频模... 长期封闭的视频模型赛道,出现了一个开源旗舰。 7月31日,MiniMax发布视频旗舰模型H3,并在8...