2月(yuè)25日(rì)，DeepSeek在“开源周”的第二日开源了DeepEP通信库。DeepSeek表示，这是第一个用于MoE（专家）模型训练和推理的开源EP通信库。

“高效、优化的全员沟通；节点内和节点间均支持NVLink和RDMA（远程直接内存访问，一种通信技术）；用于训练和推理预填充的高吞吐量内核；用于推理解码的低延迟内核；原生FP8调度支持；灵活的GPU（图形处理器）资源控制，实现计算与通信重叠。”DeepSeek如此介绍DeepEP的特点。

EP即expert parallelism（专家并行），是一种在大规模分布式AI模型训练中使用的技术，能用于提升模型并行处理能力和训练效率。DeepSeek表示，对于延迟敏感的推理解码任务，DeepEP包含有一组(zǔ)使(shǐ)用(yòng)纯(chún)RDMA的(de)低(dī)延(yán)迟(chí)内(nèi)核(hé)，可(kě)以(yǐ)用(yòng)于(yú)将(jiāng)延迟最小化，DeepEP还引入一种通信与计算重叠的方法，这种方法可以不占用SM（流处理器）资源。简而言之，DeepEP也是用于提升GPU（图形处理器）利用效率的关键技术之一。

有位软件工程师激动地表(biǎo)示(shì)，“DeepSeek在(zài)MoE模(mó)型(xíng)上(shàng)所(suǒ)达(dá)到(dào)的(de)优(yōu)化(huà)水平，令人印象深刻，因为MoE模型因其规模和复杂性而广为人知，难度非常大。而DeepEP能够如此精确地处理这些问题，使用像NVLink和RDMA这样的先进硬件，并且支持FP8，真是太牛了。”

有网友称，DeepSeek再次突破了AI基础设施的极限。这种创新方法或将改变AI领域的沟通方式。从此，AI开发者也许能(néng)有(yǒu)效(xiào)突(tū)破(pò)大(dà)规(guī)模(mó)AI模(mó)型(xíng)的(de)界(jiè)限(xiàn)。

性(xìng)能(néng)可(kě)比(bǐ)肩(jiān)OpenAI o1的(de)DeepSeek-R1是(shì)基(jī)于(yú)DeepSeek-V3训(xun)练(liàn)出(chū)来(lái)的(de)模(mó)型(xíng)，DeepSeek-V3此(cǐ)前(qián)就(jiù)以(yǐ)不(bù)大(dà)规(guī)模(mó)使(shǐ)用(yòng)最(zuì)先(xiān)进(jìn)的(de)英(yīng)伟(wěi)达(dá)GPU、低(dī)训(xun)练(liàn)预(yù)算(suàn)著(zhe)称(chēng)。为(wèi)了(le)在已有的GPU上训练大模型，DeepSeek进行了诸多创新，以高效利用GPU算力。有学界人士此前就解读了DeepSeek-V3实现计算与通信重叠的重要作用。

清华大学计算机系长聘教授翟季冬在解读DeepSeek的相关技术时表示，DeepSeek-V3为了训练效率提升，做了四方面的优化，包括负载均衡、通信优化、内存优化和计算优化。为此，DeepSeek团队充分挖掘了算法、软件和硬件协同创新的潜力，例如为了降低通信开销想了很多办法，包括精细化编排计算和通讯。“DeepSeek提出一种流水线并行算法DualPipe，通过精细控制分配给计算和通信的GPU SM数量，实现计算和通信完全重叠，从而提高GPU资源的利用率。期间，DeepSeek团队使用了英伟达底层的PTX语言来控制SM的使用。” 翟季冬表示。中存算半导体董事长陈巍解析DeepSeek-V3和R1训练结构的独特优势时也指出，DeepSeek设计了DualPipe算法来实现更高效的流水线并行，并通过计算与通信的重叠隐藏了大模型训练过程中的大(dà)部(bù)分(fēn)通(tōng)信(xìn)开(kāi)销。此外，DeepSeek开发了跨节点All-to-All通信内核，以充分利用InfiniBand和NVLink带宽，对显存使用进行了优化，使得DeepSeek无需使用昂贵的张量并行即可训练DeepSeek-V3。就开源DeepEP通信库的影响询问DeepSeek后，它的回答是，DeepEP能显著提升MoE模型的训练和推理效率，显著降低计算资源消耗，开源DeepEP有助于降低AI技术的开发成本，且有助于减少重发开发。

DeepSeek此前宣布，本周会陆续开源5个代码(mǎ)库(kù)。加(jiā)上(shàng)2月(yuè)24日(rì)开(kāi)源(yuán)的(de)代(dài)码(mǎ)库(kù)FlashMLA，DeepSeek已(yǐ)开(kāi)源(yuán)了(le)2个(gè)代码库，接下来还有3个代码库待开源。