DeepSeek"开源周"，连续掏出两大核心武器
创始人
2025-02-25 18:21:46
0次
今天是DeepSeek“开源周”第二日，DeepSeek宣布开源DeepEP，第一个用于MoE模型训练和推理的开源EP通信库。
昨天，DeepSeek则开源了代码库Flash MLA，这是针对Hopper GPU优化的高效MLA解码内核，针对可变长度序列作了优化。
MoE（混合专家架构）和MLA（多头潜在注意力机制）被认为是DeepSeek以低成本实现杰出表现的核心原因。
简单理解，MoE架构是由多个专注于垂直技能的专家模型分工协作来实现最终输出结果，训练成本和推理成本更低。有消息称，GPT-4就使用了MoE架构，由8个220B模型组成。但MoE架构的缺点之一是会增加通信成本。
DeepEP通信库就是针对通信环节的优化，其特点包括：高效、优化的全员沟通；节点内和节点间均支持 NVLink 和 RDMA；用于训练和推理预填充的高吞吐量内核；用于推理解码的低延迟内核；原生 FP8 调度支持；灵活的 GPU 资源控制，实现计算-通信重叠。
MLA则是让模型预测更远位置的token，从而增强语义理解能力。DeepSeek的Flash MLA专为英伟达Hopper GPU打造了高效MLA解码内核，特别针对变长序列进行了优化。
来源：观察者网
相关内容
热门资讯
韩国启动全民AI成长阶梯项目，...
2026年8月3日，韩国科学技术信息通信部正式启动全民AI成长阶梯项目，项目整合全民AI学习馆、全民...
从全民AI入门到创业孵化，韩国...
8月3日，财闻海外资讯消息，韩国科学技术信息通信部正式启动全民AI成长阶梯项目，整合全民AI学习馆、...
AI赋能包 | 产品介绍⑪——...
产品介绍 短视频AI剪辑与碰一碰批量发布系统是一套面向企业短视频矩阵营销的“AI剪辑+碰一碰发布”系...
PandaAI李昱琦：AI交易...
上证报中国证券网讯（记者 胡尧）8月1日，在上海虹口举行的PandaAI第三届因子大赛颁奖典礼暨AI...
真人短剧被AI“抢饭碗”？从业...
“去年下半年AI短剧开始兴起，过完年真人短剧行情跌到谷底。真人短剧拍摄量锐减，大量专门承接平台真人剧...
Genspark 发布 Gen...
用 Al-Native 的方式，打造一款新时代的 Office。 8 月 3 日，在 AGI Pla...
原生统一多模态进阶！Sense...
今年4月，商汤科技发布了SenseNova U1，首次完整展示了基于NEO-Unify架构的原生统一...
开放通用智能，MiniMax ...
8月3日，据MiniMax消息，MiniMax正式开源新一代通用视频模型MiniMax H3。据介绍...
商汤科技开源多模态模型Sens...
IT之家 8 月 3 日消息，商汤科技今日宣布，面向社区开源轻量级统一多模态模型的预览版本 Sens...
MiniMax开源H3，视频模...
长期封闭的视频模型赛道，出现了一个开源旗舰。 7月31日，MiniMax发布视频旗舰模型H3，并在8...