训练效率提升3.5倍!京东云率先支持具身智能千卡开源训练框架
创始人
2025-12-08 11:15:21
0

近日,京东云JoyBuilder模型开发平台迎来全新升级,成功支撑业界顶尖模型GR00T N1.5的千卡训练,成为行业首家支持具身智能千卡级LeRobot开源训练框架的AI开发平台,且训练效率较开源社区版本提升3.5倍。基于软硬件深度调优和算法层面的突破,大幅提升了模型训练效率与稳定性,1亿+数据的千卡训练时间从15小时缩短至22分钟,加速具身智能迈向规模化落地。

1、JoyBuilder三大优势,全面加速具身智能模型训练

近年来,具身智能成为AI领域的重要研究方向,但训练一个高效的具身模型,需要同步处理图像、文本和连续动作信号等众多环节,在工程落地方面存在着数据供给读取慢、算力效率低下,以及数据预处理和存储I/O与GPU计算等多个环节未能有效协同产生的性能瓶颈,是具身智能从实验室走向规模化落地的最大挑战。

围绕具身智能模型训练,京东云AI Infra及相关团队基于JoyBuilder模型研发平台进行了全栈优化:

在具身数据链路优化方面,通过重构具身数据预处理与加载流程,JoyBuilder平台实现CPU数据处理与GPU计算异步执行,减少等待时间。针对海量具身小数据文件,自研的高性能并行文件系统云海JPFS通过分布式元数据管理与智能预取,支持高并发访问。在1024卡集群上,读取带宽超过400GB/s,保障数据持续高速供给。

在具身模型计算优化方面,针对主流开源的VLA(视觉-语言-动作)模型的计算特点从Attention层、Token裁剪和训练后量化等多方位极致优化,全方位提升模型的训练效率。

在具身模型基础设施方面:通过搭建3.2T RDMA后端网络,基于多轨道优化、拓扑感知调度与智能震荡抑制,保障千卡间集合通信的高吞吐与低延迟,并在单点故障时快速恢复,支持长周期训练稳定运行。同时,基于云原生的AI数据湖优化了数据调度与流水线,提升端到端处理效率。

2、行业首家支持具身模型千卡级开源训练框架

具身智能的发展依赖于算法、数据、算力及基础设施的系统化协同,京东云JoyBuilder模型开发平台,基于在全链路数据处理、模型计算效率和AI基础设施等的全面优化,支持业界当前最主流的LeRobot训练数据最新协议,并成为行业首家支持具身模型千卡级开源训练框架的AI开发平台。

首先,支持业界最广泛的训练数据新协议。早期LeRobot V2.1数据协议采用“单 episode 单文件”设计,大规模样本训练时,海量小文件易导致数据加载瓶颈和存储压力。京东云JoyBuilder平台支持一键升级至“多 episode 合并分片”的V3协议,同时解决原生框架训练过程中数据链路低效问题,经过并行流水线和高效索引查询优化,将训练数据供给速度提升超10倍,显著提升云侧算力利用率和训练效率,满足大规模分布式训练需求。

其次,作为行业首家支持具身模型千卡级的开源训练框架的AI开发平台,京东云JoyBuilder基于开源LeRobot框架,首次实现GR00T模型的千卡分布式高效训练,训练效率较开源社区版本提升3.5倍,1亿+数据千卡训练时间从15小时缩短至22分钟、提速40倍,大幅降低了千卡训练的使用门槛与运行成本。

第三,基于对主流开源具身VLA模型效率的极致优化,采用动态计算优化,引入变长Flash-Attention与Data Packing技术、训练提速188%;仅对有效token进行计算,减少填充带来的算力损耗,Token裁剪优化训练提速165%以上;使用训练后细粒度FP8量化,在基本保持模型精度前提下,将权重压缩超过36%、提速140%以上。

当前,基于京东集团复杂场景实践,京东云已经构建了一站式大模型产品矩阵,从底层的智算基础设施,到中间层的模型服务和工具,再到上层的Agent应用开发,支持具身智能企业快速部署大模型及AI应用,共同推动机器人更好地理解和服务物理世界,开启人机协作的新篇章。

来源:金融界资讯

相关内容

聚焦AI+大模型、三维重建...
中新网北京5月31日电 (记者 孙自法)记者5月31日从中国图像图...
2026-06-01 00:57:14
国泰海通:维持海外AI算力...
国泰海通维持海外AI 算力及应用产业链“增持”评级。其研报指出,O...
2026-06-01 00:54:38
小米开源可控视频音效生成模...
IT之家 5 月 29 日消息,小米大模型应用团队今日发布 Con...
2026-06-01 00:41:13
制造业大市如何拥抱AI?绍...
“此次圆桌研讨凝聚起产业发展共识,后续浙江将持续整合各方资源,汇聚...
2026-05-30 05:50:45
仁宝电脑与GMI Clou...
(全球TMT2026年5月28日讯)5月28日,仁宝电脑宣布,与美...
2026-05-28 21:09:59
科大讯飞进军AI眼镜,内置...
新京报贝壳财经讯(记者罗亦丹)5月28日,科大讯飞在澳门威尼斯人金...
2026-05-28 20:46:43

热门资讯

2024云栖大会|阿里云升级无... 北京商报讯(记者魏蔚)9月20日,阿里云无影AI云电脑在2024云栖大会上展出,该版本基于最新的终端...
MWC2025荣耀多款AI技术... 人民财讯3月6日电,2025世界移动通信大会(MWC 2025)上,荣耀MagicBook Pro ...
原创 2... #春日生活好物种草季#近年来,笔记本电脑市场迎来技术爆发期,尤其在手机厂商跨界入局后,轻薄本在性能、...
摩尔线程发布AI算力笔记本MT... 钛媒体App 12月20日消息,摩尔线程创始人、董事长兼CEO张建中在摩尔线程首届MUSA开发者大会...
摩尔线程AI生图摩笔马良全新升... 快科技8月7日消息,作为国产GPU的杰出代表,摩尔线程在当下火爆的AIGC浪潮中也推出了自己的软硬一...
谷歌打磨 Gemini AI ... IT之家 8 月 31 日消息,谷歌于 8 月 27 日发布博文,宣布旗下 Gemini AI 支持...
微软 Azure AI 语音服... IT之家 8 月 23 日消息,微软Azure AI 语音服务允许开发者构建多语言生成式 AI 语音...
AMD锐龙AI 9 HX 37... 2024年6月3日,AMD正式发布全新的锐龙AI 300系列处理器。该系列处理器一经发布就引发大家的...
青云QingCloud Kub... 日前,青云科技宣布开源 Thanos 的企业级发行版 Whizard,为企业带来真正高可用、可扩展、...
Macos系统上一款强大的卸载... App Cleaner mac中文版是Mac os系统上一款强大 的mac卸载工具,以帮助您完全卸载...