研究:反复利用 AI 生成内容来训练 AI 可造成“模型崩溃”
创始人
2024-09-05 14:21:10
0

据《福布斯》报道,牛津大学的伊利亚·舒梅洛夫博士与其团队发现,当生成式 AI 软件仅依赖于由 AI 生成的内容时,回答的质量开始恶化。这项研究已经发表在《自然》杂志上。

在最初的两次查询后,答案逐渐偏离准确性,到第五次时,质量显著下降,到了第九次连续查询时,回答已完全退化为无意义的胡言乱语。研究人员将这种生成式 AI 内容的循环过度使用称为“模型崩溃”,即 AI 在不断污染自己的训练集后,输出的内容逐渐偏离现实,最终变得毫无价值。

舒梅洛夫表示:“令人惊讶的是,模型崩溃发生得如此迅速且难以察觉。最初,它会影响到少数数据——那些代表性不足的数据。接着,它会影响输出的多样性,导致差异性减少。有时,你会观察到对多数数据的微小改进,但这种改进掩盖了少数数据表现的恶化。模型崩溃可能带来严重后果。”

研究人员通过一种方法确定了“模型崩溃”现象的存在:使用一个预训练的 AI 驱动的维基百科,然后让 AI 模型基于自己生成的内容进行更新。受污染数据的影响逐渐导致原本的训练集被侵蚀,输出的信息也随之变得难以理解。例如,在第九次查询循环后,研究中的维基百科条目从关于 14 世纪英国教堂尖顶的内容滑稽地变成了一篇关于各种颜色的短尾兔子的论文。

报道称,根据亚马逊网络服务(Amazon Web Services)团队在 6 月发布的另一项研究,大约 57% 的网络文本都经过了 AI 算法的翻译。如果互联网上的人类生成数据迅速被 AI 过滤内容覆盖,且舒梅洛夫的研究发现属实,那么 AI 可能正在“自我毁灭”——并同时“毁灭”互联网。

研究得出结论,要实现 AI 的长期可持续发展,唯一方法是确保其能够访问现有的非 AI 生成内容,并持续引入新的人工生成内容。

相关内容

AI赋能包 | 产品介绍⑪...
产品介绍 短视频AI剪辑与碰一碰批量发布系统是一套面向企业短视频矩...
2026-08-03 20:19:24
PandaAI李昱琦:AI...
上证报中国证券网讯(记者 胡尧)8月1日,在上海虹口举行的Pand...
2026-08-03 20:18:41
真人短剧被AI“抢饭碗”?...
“去年下半年AI短剧开始兴起,过完年真人短剧行情跌到谷底。真人短剧...
2026-08-03 20:14:16
原生统一多模态进阶!Sen...
今年4月,商汤科技发布了SenseNova U1,首次完整展示了基...
2026-08-03 20:08:19
开放通用智能,MiniMa...
8月3日,据MiniMax消息,MiniMax正式开源新一代通用视...
2026-08-03 20:02:14
商汤科技开源多模态模型Se...
IT之家 8 月 3 日消息,商汤科技今日宣布,面向社区开源轻量级...
2026-08-03 20:01:37

热门资讯

韩国启动全民AI成长阶梯项目,... 2026年8月3日,韩国科学技术信息通信部正式启动全民AI成长阶梯项目,项目整合全民AI学习馆、全民...
从全民AI入门到创业孵化,韩国... 8月3日,财闻海外资讯消息,韩国科学技术信息通信部正式启动全民AI成长阶梯项目,整合全民AI学习馆、...
AI赋能包 | 产品介绍⑪——... 产品介绍 短视频AI剪辑与碰一碰批量发布系统是一套面向企业短视频矩阵营销的“AI剪辑+碰一碰发布”系...
PandaAI李昱琦:AI交易... 上证报中国证券网讯(记者 胡尧)8月1日,在上海虹口举行的PandaAI第三届因子大赛颁奖典礼暨AI...
真人短剧被AI“抢饭碗”?从业... “去年下半年AI短剧开始兴起,过完年真人短剧行情跌到谷底。真人短剧拍摄量锐减,大量专门承接平台真人剧...
Genspark 发布 Gen... 用 Al-Native 的方式,打造一款新时代的 Office。 8 月 3 日,在 AGI Pla...
原生统一多模态进阶!Sense... 今年4月,商汤科技发布了SenseNova U1,首次完整展示了基于NEO-Unify架构的原生统一...
开放通用智能,MiniMax ... 8月3日,据MiniMax消息,MiniMax正式开源新一代通用视频模型MiniMax H3。据介绍...
商汤科技开源多模态模型Sens... IT之家 8 月 3 日消息,商汤科技今日宣布,面向社区开源轻量级统一多模态模型的预览版本 Sens...
MiniMax开源H3,视频模... 长期封闭的视频模型赛道,出现了一个开源旗舰。 7月31日,MiniMax发布视频旗舰模型H3,并在8...