linux办公网
最新研究！用AI训练AI，可能越练越“傻”
创始人
2024-07-26 19:06:43
0次

（央视财经《正点财经》）对于人工智能大语言模型来说，通常给予的训练数据越多，模型就会越“聪明”。但英国《自然》杂志最新发表的一项关于大模型的研究显示，如果只用AI生成的数据来训练大模型，会使模型性能下降，还可能越练越“傻”。

据了解，这项研究由英国牛津大学、剑桥大学等机构共同参与。研究人员发现，如果在训练大模型时，只用人工智能生成的内容，会导致大模型出现不可逆的缺陷，逐渐忘记真实数据的分布，这被称为“模型崩溃”。

研究人员首先使用大语言模型创建类似维基百科词条的文本，然后利用这个内容来训练该模型的新版本，并反复使用前代模型生成的文本训练更新的版本。在模型的第九次迭代中，它完成了一篇关于英国教堂塔楼的文章，其中一段文字却在讲述野兔尾巴的多种颜色。

研究发现，导致“模型崩溃”的重要原因是，由于模型只能从其训练数据中采样，一些在第一代数据中本就低频出现的词汇，在每次迭代后出现的频率变得更低，而一些常见词汇出现的频率则逐渐增加。这种变化的结果就是，模型逐渐无法正确模拟真实世界的复杂性。随着时间推移，这种错误会在迭代中被层层累积、逐渐放大，最终导致“模型崩溃”。

不过，应对“模型崩溃”并非束手无策。研究人员表示，如果能在模型微调过程中保留10%左右的真实数据，崩溃就会发生得更缓慢。还可以在大型科技公司的协作下使用水印技术，将AI生成的数据与真实数据区分开来。此外，在AI生成的文本重新进入数据池之前，可由人类先筛选过滤，也会有效应对“模型崩溃”。

转载请注明央视财经

编辑：安琪

崩溃 数据 模型 训练 人工智能 文本 英国 财经 研究 内容 央视 英国牛津大学

上一篇：2024 ChinaJoy：星纪魅族AI生态馆正式登陆

下一篇：词、曲、动画……全流程AI制作呈现

相关内容

器械宝典2.0｜深瑞达 D...
Introduction 基本信息 器械名称 深瑞达 DEEPIN...
2026-06-20 12:54:40
AI辅助Linux系统管理...
我并非所有场景都推崇使用AI。在创意类工作中，我坚持认为AI介入空...
2026-06-20 12:53:31
人大主办！全球青年科学家共...
智东西 作者 | ZeR0 编辑 | 漠影 智东西5月31日报道，...
2026-06-20 12:53:20
聚焦AI+大模型、三维重建...
中新网北京5月31日电 (记者 孙自法)记者5月31日从中国图像图...
2026-06-01 00:57:14
国泰海通：维持海外AI算力...
国泰海通维持海外AI 算力及应用产业链“增持”评级。其研报指出，O...
2026-06-01 00:54:38
小米开源可控视频音效生成模...
IT之家 5 月 29 日消息，小米大模型应用团队今日发布 Con...
2026-06-01 00:41:13

热门资讯

2024云栖大会|阿里云升级无... 北京商报讯（记者魏蔚）9月20日，阿里云无影AI云电脑在2024云栖大会上展出，该版本基于最新的终端...
MWC2025荣耀多款AI技术... 人民财讯3月6日电，2025世界移动通信大会（MWC 2025）上，荣耀MagicBook Pro ...
原创 2... #春日生活好物种草季#近年来，笔记本电脑市场迎来技术爆发期，尤其在手机厂商跨界入局后，轻薄本在性能、...
摩尔线程发布AI算力笔记本MT... 钛媒体App 12月20日消息，摩尔线程创始人、董事长兼CEO张建中在摩尔线程首届MUSA开发者大会...
摩尔线程AI生图摩笔马良全新升... 快科技8月7日消息，作为国产GPU的杰出代表，摩尔线程在当下火爆的AIGC浪潮中也推出了自己的软硬一...
微软 Azure AI 语音服... IT之家 8 月 23 日消息，微软Azure AI 语音服务允许开发者构建多语言生成式 AI 语音...
谷歌打磨 Gemini AI ... IT之家 8 月 31 日消息，谷歌于 8 月 27 日发布博文，宣布旗下 Gemini AI 支持...
青云QingCloud Kub... 日前，青云科技宣布开源 Thanos 的企业级发行版 Whizard，为企业带来真正高可用、可扩展、...
Macos系统上一款强大的卸载... App Cleaner mac中文版是Mac os系统上一款强大 的mac卸载工具，以帮助您完全卸载...
AMD锐龙AI 9 HX 37... 2024年6月3日，AMD正式发布全新的锐龙AI 300系列处理器。该系列处理器一经发布就引发大家的...