linux办公网
DeepSeek“开源周”，连续掏出两大核心武器
创始人
2025-02-25 12:49:58
0次

今天是DeepSeek“开源周”第二日，DeepSeek宣布开源DeepEP，第一个用于MoE模型训练和推理的开源EP通信库。

昨天，DeepSeek则开源了代码库Flash MLA，这是针对Hopper GPU优化的高效MLA解码内核，针对可变长度序列作了优化。

MoE（混合专家架构）和MLA（多头潜在注意力机制）被认为是DeepSeek以低成本实现杰出表现的核心原因。

简单理解，MoE架构是由多个专注于垂直技能的专家模型分工协作来实现最终输出结果，训练成本和推理成本更低。有消息称，GPT-4就使用了MoE架构，由8个220B模型组成。但MoE架构的缺点之一是会增加通信成本。

DeepEP通信库就是针对通信环节的优化，其特点包括：高效、优化的全员沟通；节点内和节点间均支持 NVLink 和 RDMA；用于训练和推理预填充的高吞吐量内核；用于推理解码的低延迟内核；原生 FP8 调度支持；灵活的 GPU 资源控制，实现计算-通信重叠。

MLA则是让模型预测更远位置的token，从而增强语义理解能力。DeepSeek的Flash MLA专为英伟达Hopper GPU打造了高效MLA解码内核，特别针对变长序列进行了优化。

推理 架构 DeepSeek 通信 核心 模型 训练 内核 支持 解码 MoE 开源周 Flash

上一篇：绿联NAS搭建macOS最新系统，无痛白嫖苹果

下一篇：刚刚，DeepSeek开源MoE训练、推理EP通信库DeepEP，真太Open了！

相关内容

热门资讯

国产大模型下调推理服务价格，南... 近日，国内某大模型企业宣布下调其flash系列模型服务价格，输入缓存命中、输入缓存未命中及输出价格最...
AI新手用拼豆庆祝教师节
解码青年人AI生活《2026有... 中新网深圳9月5日电(记者索有为)《2026有意思生活方式报告》(下称《报告》)4日在全国首个有意思...
OpenAI 最强 AI 生图... 9月9日消息，OpenAI 9 月 9 日官宣发布 ChatGPT Images 2.5，图像生成延...
探索AI供应链产业化路径京东推... 2026年以来，人工智能应用范围加速拓展，持续从数字空间走向现实生活，广泛融入生产线、仓储厂房、配送...
教育部发文！AI生成内容，教师... 一篇论文，因为AI使用不当，相关高校师生被通报处理。 9月2日，安徽财经大学公布“教师与学生涉嫌学术...
夏夜逛吃记 #剪映让好作品告别...
AI识别出近800种可充当乳化... 英国利兹大学食品科学与营养学院和爱丁堡大学科学家携手，开发出一款 人工智能（AI）工具，能从数千万种...
搭上低空经济、AI文旅？两连板... 桂林旅游（000978）回应市场热点。 9月8日，桂林旅游再度涨停，斩获2连板。当天晚间，该公司披露...
硅谷：我们不能被硅谷“AI刹车... 【文/底线思维】 OpenAI首席科学家Jakub Pachocki最近写了一篇文章，题目叫《An ...