阿里云AI存储全面升级,CPFS 容量提升500%
创始人
2024-08-07 18:11:47
0

8月7日,阿里云面向AI推出全新升级的存储系统CPFS智算版,单文件系统容量提升500%达到6PB级别,在大规模训练场景中,可支持更大的数据量和更高性能。同时,CPFS全新升级系统智能引擎,冷热数据流动带宽提升20倍,可大幅降低存储成本,更好支撑大模型训练及推理。

随着大模型参数和数据集规模的迅速增长,包含更多数据量的多模态大模型也成为趋势,大模型训练对存储的要求更高,需要更快的数据读写、传输和更大的存储空间。阿里云CPFS是专为AI和高性能计算而设计的存储产品。CPFS通过创新的分布式并行存储架构设计,自研的高性能RoCE RDMA网络协议和虚拟存储通道技术,多级缓存的弹性客户端,最终实现高吞吐、低延迟、Serverless化的高性能存储能力。

为更好满足模型训练不断增长的数据量和计算密度需求,CPFS单文件系统容量从1PB提升至6PB,单计算节点可支持40个容器同时挂载。同时,通过智能数据流动引擎的升级,冷热数据可以100GB/s的高带宽实现流动:在训练前将数据从对象存储OSS中快速导入到CPFS,更好满足训练时数据高并发读取;在训练结束后,将生成的结果数据从CPFS导出到OSS,大幅降低存储成本。

针对大模型训练中的数据安全问题,CPFS通过高性能虚拟化存储通道保障数据访问安全,提供租户权限鉴权、数据隔离和性能隔离,增强端到端安全隔离和数据保护能力。CPFS集成日志服务SLS提供的日志审计能力和云备份CloudBackup自动挂载备份功能也即将上线。

复旦大学、小鹏汽车、零一万物、百川智能、元戎启行等公司和机构已经使用阿里云进行AI训练和应用,通过阿里云CPFS提供的高吞吐带宽和百亿级小文件的高性能访问,数据集的并发读取和checkpoint写效率大幅提升,为模型训练和推理提速。比如,元戎启行基于阿里云的灵骏智算和CPFS分布式存储,完成了高性能的智能驾驶训练,训练效率提升120%,并通过冷热数据的分层存储方案实现大幅成本节省。

Forrester全球AI基础设施解决方案最新报告指出,阿里云AI Infra综合产品力居全球第二。此次CPFS智算版的全新升级,是阿里云存储在面向多模态等AI发展趋势做出的新探索。在存储领域,阿里云曾获中国电子学会科学技术特等奖、世界互联网领先科技成果奖,盘古分布式存储技术还曾荣获中国发明专利金奖。

相关内容

平安好医生入选首批“开源大...
7月3日,由全球数字经济大会组委会主办,中国信息通信研究院(以下简...
2025-07-03 21:41:09
计算架构,行业AI竞争的下...
2025-07-03 16:25:26 作者:狼叫兽 当Dee...
2025-07-03 17:42:01
阿里与荣耀进一步深化AI生...
央广网北京7月3日消息(记者 冀文超)7月2日,荣耀全新年度折叠旗...
2025-07-03 17:12:53
百度的AI为什么没人用,中...
牛文文 创业黑马集团董事长&创始人 AI, 第一个颠覆就是搜索。 ...
2025-07-03 17:12:38
歌尔股份新设子公司,含AI...
企查查APP显示,近日,杭州歌尔泰克科技有限公司成立,法定代表人为...
2025-07-03 17:12:33
画到哪,动到哪!字节跳动发...
Angtian Wang 是字节跳动的研究员,研究方向包括视频生成...
2025-07-03 13:13:17

热门资讯

原创 2... #春日生活好物种草季#近年来,笔记本电脑市场迎来技术爆发期,尤其在手机厂商跨界入局后,轻薄本在性能、...
AMD锐龙AI 9 HX 37... 2024年6月3日,AMD正式发布全新的锐龙AI 300系列处理器。该系列处理器一经发布就引发大家的...
骁龙本这么猛?联想YOGA A... 在人人都是自媒体的时代,一部手机可以解决出镜拍摄问题,而商务出差、大量码字、图像处理等需求用笔记本则...
5个AI模特生成软件推荐 当前AI模特生成软件市场提供了多样化的解决方案,以下是几款备受推崇的工具: 触站AI:强烈推荐!...
2023年CentOS与Ubu... CentOS与Ubuntu的市场格局与技术特性探讨 在服务器操作系统领域,CentOS与Ubuntu...
苹果macOS 15.1:允许... 苹果公司在其最新的macOS 15.1版本中,推出了一项引人注目的新功能——允许用户将Mac App...
原创 苹... 前言 IQUNIX在做好看的桌面产品上,一直都给我留下非常深刻的印象。而且早期和苹果产品的设计风格...
原创 华... 想在竞争残酷的市场中发力,必须要带来一些激进的卖点,但是随着功能特性的提升,硬件也必须要进行给力才可...
原创 华... 在2024年这个被誉为"AI元年"的关键时刻,随着生成式AI的流行,各家手机厂商都在积极备战AI手机...