华为发布全新AI存储,以长记忆内存新范式使能AI大模型训练和推理
创始人
2024-09-23 11:20:11
0

2024-09-23 10:15:49 作者:姚立伟

9月20日,在华为全联接大会2024期间举办的数据存储峰会上,华为公司副总裁、数据存储产品线总裁周跃峰博士发布全新AI存储OceanStor A800,以长记忆内存新范式全面提升AI大模型训练和推理能力,助力千行万业大步迈入数智时代。

华为公司副总裁、数据存储产品线总裁周跃峰发表主题演讲

人类文明从远古的石器时代,到农业时代、工业时代,直至如今的数智时代,数据作为发展新质生产力的关键生产要素。人们利用数据,在AI大模型、具身智能、AI for science等核心AI领域取得长足发展。

数智时代是数据的黄金时代,数据规模爆炸式增长、数据价值不断攀升的同时,也面临xPU与存储的带宽不足、算力集群可用度低、推理时延长等挑战,对存储提出更高要求。数智时代呼唤 Storage for AI,具备极致性能、高扩展性、数据韧性、可持续发展、新数据范式以及数据编织能力的数据存储是通往AI数智时代的必由之路。

为应对以上挑战,华为发布全新AI存储OceanStor A800,在AI大模型高效训练能力的基础上,大幅增强推理能力,并在集群性能、新数据范式上有了跨越式提升,促进AI在千行万业落地。

1.单套AI存储设备支持十万卡级大模型训练。通过构建前端网卡全共享、控制器与后端SSD盘全互联的技术架构,单套存储设备可支持10万卡级集群全互联。一套OceanStor A800 存储最多可实现与19.2万卡训练集群的静态全连接,性能提升40%,空间占用降低80%。

2.以存强算,AI集群可用度提升30%。AI训练中断频频发生,据统计AI训练中心持续训练的时间最长仅为2.6天,导致GPU/NPU必须反复保存CKPT数据。中国移动将华为OceanStor AI存储用于大模型训练,实现150PB单存储集群、8TB/s带宽和2.3亿IOPS的能力,集群可用度提升32%,为后续更大规模大模型训练提供有力支撑。

3.以存代算,长记忆内存型存储提升推理体验并降低系统成本。

Long context(长上下文)成为大模型推理的必然发展趋势,根据Scaling law,提供足够高的推理算力和中间Token数,可大幅提升推理的准确度。通过专业AI存储,可长期保存Long context及海量中间推理 Token,最大程度提升大模型的逻辑思考和推理能力,尤其是慢思考能力。

OceanStor A800作为业界首款提供长记忆能力的存储,创新性采用多级KV缓存机制,将KV-Cache持久化保存并高效使用,让大模型推理具备长记忆能力,减少在Prefill阶段的重复计算,客户推理时延降低78%,单个xPU卡的吞吐量提升67%,大幅提升推理体验的同时降低成本。

数智时代的全新AI存储,正在金融信贷、投研分析、医疗健康、药物研发等行业场景发挥价值。周跃峰表示,在数据的黄金时代,华为以其创新的AI存储,释放先进数据存力,铸就数智时代根基。

相关内容

AI商用:阿里云和火山云的...
7月9日,2025阿里云中企出海峰会上,Vidu、Question...
2025-07-09 22:13:29
快手张迪:AI将进一步拓展...
日前,在2025全球数字经济大会“人工智能融合应用发展论坛”上,快...
2025-07-09 22:13:24
让AI在企业真能用、真落地...
7月9日,飞书发布了知识问答、AI会议、Aily、飞书妙搭等多款A...
2025-07-09 14:41:16
昆仑万维开源最强多模态推理...
智东西(公众号:zhidxcom) 作者| 程茜 编辑| 漠影 智...
2025-07-09 12:41:09
【用AI联通】AI“爆改”...
人工智能时代,AI已成为推动农业现代化发展的关键力量之一,从茉莉花...
2025-07-09 10:43:14
还在为AI数据发愁?张文涛...
1. 基本介绍 近年来,大模型发展主要由大型科技公司主导,其领先的...
2025-07-09 10:42:14

热门资讯

原创 2... #春日生活好物种草季#近年来,笔记本电脑市场迎来技术爆发期,尤其在手机厂商跨界入局后,轻薄本在性能、...
AMD锐龙AI 9 HX 37... 2024年6月3日,AMD正式发布全新的锐龙AI 300系列处理器。该系列处理器一经发布就引发大家的...
骁龙本这么猛?联想YOGA A... 在人人都是自媒体的时代,一部手机可以解决出镜拍摄问题,而商务出差、大量码字、图像处理等需求用笔记本则...
5个AI模特生成软件推荐 当前AI模特生成软件市场提供了多样化的解决方案,以下是几款备受推崇的工具: 触站AI:强烈推荐!...
2023年CentOS与Ubu... CentOS与Ubuntu的市场格局与技术特性探讨 在服务器操作系统领域,CentOS与Ubuntu...
苹果macOS 15.1:允许... 苹果公司在其最新的macOS 15.1版本中,推出了一项引人注目的新功能——允许用户将Mac App...
原创 苹... 前言 IQUNIX在做好看的桌面产品上,一直都给我留下非常深刻的印象。而且早期和苹果产品的设计风格...
原创 华... 想在竞争残酷的市场中发力,必须要带来一些激进的卖点,但是随着功能特性的提升,硬件也必须要进行给力才可...
原创 华... 在2024年这个被誉为"AI元年"的关键时刻,随着生成式AI的流行,各家手机厂商都在积极备战AI手机...