华创证券:DeepSeek开源周发布五大AI基础优化方案
创始人
2025-03-03 11:21:35
0

财中社3月3日电事项:

2025年2月24日至2025年2月28日,DeepSeek举行为期五天的“开源周”,连续开源五个软件库,旨在以完全透明的方式与全球开发者社区分享其在通用人工智能(AGI)领域的研究进展。五个软件库向业界展示了一套重塑AI基础设施效率的全景方案,涵盖底层加速解码、专家并行通信、核心矩阵运算、分布式训练的流水线优化、数据处理系统的构建,共同构筑了一个面向大规模AI的高性能基石。

华创证券发表评论:

显存的“节流阀”:FlashMLA是一种专为NVIDIAHopper架构GPU优化的高效注意力解码内核,旨在提升大规模语言模型(LLM)在推理阶段的性能,尤其在处理可变长度序列时表现突出。FlashMLA能自行调配计算资源,通过动态资源分配优化显存使用,在H800集群上达到3000GB/s的内存限制性能和580TFLOPS的计算限制性能,实现了3倍显存利用率提升。

通信的“智能交通系统”:DeepEP是首个用于MoE(混合专家模型)训练和推理的开源EP通信库,它解决了MoE的通信瓶颈,支持优化的全对全通信模式,使数据能够在各个节点间高效传输。

矩阵运算的“编译器”:DeepGEMM作为矩阵乘法加速库,为V3/R1的训练和推理提供支持。DeepGEMM采用了DeepSeek-V3中提出的细粒度scaling技术,将FP8引入GEMM内核,仅用300行代码就实现了简洁高效的FP8通用矩阵乘法。DeepGEMM支持普通GEMM以及专家混合(MoE)分组GEMM,在HopperGPU上最高可达到1350+FP8TFLOPS(每秒万亿次浮点运算)的计算性能,在各种矩阵形状上的性能与专家调优的库相当,甚至在某些情况下更优,且安装时无需编译,通过轻量级JIT模块在运行时编译所有内核。

并行训练的“指挥”:DualPipe和EPLB旨在解决大模型分布式训练中的并行调度和负载均衡问题。DualPipe是一种用于V3/R1训练中计算与通信重叠的双向管道并行算法,通过实现向前与向后计算通信阶段的双向重叠,将硬件资源利用率提升超30%,减少资源浪费。EPLB是一种针对V3/R1的专家并行负载均衡器。基于混合专家(MoE)架构,它通过冗余专家策略复制高负载专家,并结合启发式分配算法优化GPU间的负载分布,减少GPU闲置现象。

AI专属的分布式文件系统:3FS是一个专为AI训练和大数据处理设计的高性能并行分布式文件系统,能实现高速数据访问,提升AI模型训练和推理的效率。性能方面,3FS在180节点集群中实现了6.6TiB/s的聚合读取吞吐量;在25节点集群的GraySort基准测试中达到3.66TiB/min的吞吐量;每个客户端节点在KVCache查找时可达到40+GiB/s的峰值吞吐量。

相关内容

OpenAI希望美国政府对...
快科技3月15日消息,据国外媒体报道称,OpenAI终于露出了自己...
2025-03-15 16:12:42
CentOS 5.3至最新...
CentOS 5.3升级指南:安全过渡与系统优化 对于仍在运行Ce...
2025-03-15 06:13:57
DeepSeek引爆国产A...
本周,中证电信主题指数下跌0.6%,中证芯片产业指数下跌2.3%,...
2025-03-14 22:12:46
融合DeepSeek,这款...
2025-03-14 22:12:31
AI语音助手Maya,完全...
2025-03-14 18:41:15
新点软件:基于华为等多家开...
金融界3月14日消息,有投资者在互动平台向新点软件提问:你好!请问...
2025-03-14 17:12:09

热门资讯

原创 华... 想在竞争残酷的市场中发力,必须要带来一些激进的卖点,但是随着功能特性的提升,硬件也必须要进行给力才可...
支持 AI 扩图,华为 Pur... 2024-07-28 09:05:02作者:姚立伟 华为Pura 70 Pro手机今日推出鸿蒙Ha...
苹果macOS 15.1:允许... 苹果公司在其最新的macOS 15.1版本中,推出了一项引人注目的新功能——允许用户将Mac App...
吞噬星空维妮娜美图/高清壁纸/... 国漫女神|《吞噬星空》维妮娜美图/高清壁纸/AI手机壁纸/无水印 国漫女神|《吞噬星空》维妮娜美图...
原创 苹... 前言 IQUNIX在做好看的桌面产品上,一直都给我留下非常深刻的印象。而且早期和苹果产品的设计风格...
原创 商... 最近,各家的AI 9笔记本开始陆续登场,其实大家并不一定非选AI 9 HX 370,主要是这颗CPU...
AI智能+高效清洁!萤石RS2... 目前扫拖机器人市场的竞争非常激烈,在上下水扫拖一体机市场也出现了很多所谓的创新产品。但是对于这些产品...
2024年度中国银行业发展报告... 21世纪经济报道 记者李愿 北京报道 10月19日,中国银行业协会在2024金融街论坛年会·金融街之...