DeepSeek開源周正式收官，作為國(guó)內(nèi)率先原生支持FP8計(jì)算精度的國(guó)產(chǎn)GPU企業(yè)，摩爾線程迅速響應(yīng)，并在短時(shí)間內(nèi)，成功實(shí)現(xiàn)對(duì)DeepSeek各個(gè)開源項(xiàng)目的全面支持，涵蓋FlashMLA、DeepEP、DeepGEMM、DualPipe 以及 Fire-Flyer文件系統(tǒng)（3FS）。這一成果充分驗(yàn)證了MUSA架構(gòu)和全功能GPU在生態(tài)兼容與快速適配方面的強(qiáng)大優(yōu)勢(shì)。

以下是摩爾線程支持DeepSeek開源周“全家桶”代碼合集：

FlashMLA

FlashMLA是一款高效的MLA（Multi-Head Latent Attention）推理內(nèi)核開源倉(cāng)庫(kù)，旨在加速M(fèi)LA機(jī)制的計(jì)算，特別適用于DeepSeek系列模型（如DeepSeek-V2、V3和R1）。

摩爾線程基于全新MUSA Compute Capability 3.1計(jì)算架構(gòu)，可提供原生FP8計(jì)算能力，同時(shí)升級(jí)了高性能線性代數(shù)模板庫(kù)MUTLASS，快速支持了FlashMLA。借助MUTLASS 0.2.0，摩爾線程發(fā)布開源倉(cāng)庫(kù)MT-FlashMLA，能夠快速對(duì)DeepSeek FlashMLA進(jìn)行兼容部署。

▼ MT-FlashMLA開源地址：

https://github.com/MooreThreads/MT-flashMLA

▼ MUTLASS FlashAttention3地址：

https://github.com/MooreThreads/mutlass/tree/main/experimental/mp31_flash_attention_fwd

DeepEP

DeepEP是一個(gè)用于MoE（混合專家）模型訓(xùn)練和推理的開源EP（expert parallelism，專家并行）通信庫(kù)，主要適用于大模型訓(xùn)練，特別是需要EP的集群訓(xùn)練。它通過優(yōu)化通信信道的使用率，顯著提升了訓(xùn)練效率。摩爾線程基于MUSA Compute Capability 3.1全功能GPU，第一時(shí)間適配了DeepEP，支持以下特性：

▼ 高效優(yōu)化的 All-to-All 通信，支持 dispatch & combine

▼ 支持 MTLink + GPU（MUSA Compute Capability 3.1）節(jié)點(diǎn)內(nèi)通信

▼ 訓(xùn)練及推理預(yù)填充階段的高吞吐量計(jì)算核心

▼ 推理解碼階段的低延遲計(jì)算核心

▼ 原生支持 FP8 數(shù)據(jù)分發(fā)

▼ 靈活控制 GPU 資源，實(shí)現(xiàn)計(jì)算與通信的高效重疊

▼ MT-DeepEP開源地址：

https://github.com/MooreThreads/MT-DeepEP

DeepGEMM

DeepGEMM是一個(gè)支持密集矩陣與混合專家（MoE）矩陣乘法的FP8 GEMM庫(kù)，為V3/R1的訓(xùn)練與推理提供強(qiáng)大動(dòng)力。這個(gè)開源倉(cāng)庫(kù)基于高性能通用矩陣乘法（GEMM）的C++模板庫(kù)進(jìn)行開發(fā)。摩爾線程基于MUTLASS在全新GPU架構(gòu)上優(yōu)化實(shí)現(xiàn)了FP8矩陣乘法，支持DeepGEMM的相應(yīng)功能。

▼ MUTLASS FP8 GEMM地址：

https://github.com/MooreThreads/mutlass/tree/main/examples/02_mp31_fp8_gemm_with_collective_builder

https://github.com/MooreThreads/mutlass/tree/main/examples/03_mp31_fp8_scaling_gemm

DualPipe

DualPipe是DeepSeek-V3提出的雙向流水線并行算法，通過前向計(jì)算與后向計(jì)算階段的計(jì)算與通信完全重疊，顯著減少了“流水線氣泡”（設(shè)備空閑等待）。與傳統(tǒng)流水線并行相比，DualPipe 采用雙向數(shù)據(jù)流設(shè)計(jì)，使數(shù)據(jù)從兩端相向處理，大幅提升了資源利用率與訓(xùn)練效率。

摩爾線程依托深度學(xué)習(xí)框架Torch-MUSA（已開源）和MUSA軟件棧全方位的兼容性，實(shí)現(xiàn)了對(duì)DualPipe這一算法的高效支持。MT-DualPipe可以完整接入摩爾線程 MT-Megatron框架和MT-TransformerEngine框架（即將開源），實(shí)現(xiàn)DeepSeek V3訓(xùn)練流程的完整復(fù)現(xiàn)。

▼ MT-DualPipe開源地址：

https://github.com/MooreThreads/MT-DualPipe

▼ Torch-MUSA開源地址：

https://github.com/MooreThreads/Torch_MUSA

3FS

Fire-Flyer文件系統(tǒng)（3FS）是一種利用現(xiàn)代SSD和RDMA網(wǎng)絡(luò)的全部帶寬的并行文件系統(tǒng)，可以把固態(tài)硬盤的帶寬性能利用到極致，在V3和R1的訓(xùn)練與推理過程中，3FS成為關(guān)鍵支撐，以應(yīng)對(duì)AI訓(xùn)練和推理工作負(fù)載的挑戰(zhàn)。

摩爾線程在一天內(nèi)迅速完成了高性能分布式文件系統(tǒng)3FS的搭建，并高效開發(fā)了存儲(chǔ)插件，成功實(shí)現(xiàn)與夸娥智算集群的無縫集成，為AI訓(xùn)練、AI推理、科學(xué)計(jì)算等場(chǎng)景提供全棧存儲(chǔ)加速方案。

▼ 3FS CSI Driver地址：

https://github.com/MooreThreads/csi-driver-3fs

▼ 關(guān)于摩爾線程

摩爾線程成立于2020年10月，以全功能GPU為核心，致力于向全球提供加速計(jì)算的基礎(chǔ)設(shè)施和一站式解決方案，為各行各業(yè)的數(shù)智化轉(zhuǎn)型提供強(qiáng)大的AI計(jì)算支持。

我們的目標(biāo)是成為具備國(guó)際競(jìng)爭(zhēng)力的GPU領(lǐng)軍企業(yè)，為融合人工智能和數(shù)字孿生的數(shù)智世界打造先進(jìn)的加速計(jì)算平臺(tái)。我們的愿景是為美好世界加速。

推薦閱讀