来源:新浪科技
新浪科技讯 2月27日上午消息,DeepSeek开源周第四日,DeepSeek宣布开源了公司内部的并行优化策略(Optimized Parallelism Strategies)。此次开源,DeepSeek分别发布了DualPipe双向管道并行算法和EPLB专家并行负载均衡器。
据DeepSeek介绍,DualPipe是一项在DeepSeek-V3技术报告中引入的双向管道等值算法,它实现了向后和向后计算通信阶段的完全重叠,还减少了管道气泡。在GitHub上,目前该算法已经获得544个Star收藏。