DeepSeek在開源周開源了部分關(guān)鍵模塊的代碼及推理系統(tǒng)參考架構(gòu)，再次引發(fā)行業(yè)震動，但目前尚未開源DeepSeek-V3 滿血版完整訓(xùn)練代碼。壁仞科技憑借八大自主創(chuàng)新技術(shù)，實現(xiàn)DeepSeek-V3滿血版在國產(chǎn)GPU平臺的高效全棧式訓(xùn)練與推理，實現(xiàn)國產(chǎn)大模型與國產(chǎn)GPU的深度融合優(yōu)化，開啟國產(chǎn)算力新篇章。
01.首個國產(chǎn)化Megatron-LM深度適配方案
DeepSeek業(yè)界首次提出了Multi-head Latent Attention (MLA) 、Multi-Token Prediction (MTP)、Auxiliary-Loss-Free Load Balancing等新特性，但并未開放訓(xùn)練代碼，且Megatron-LM初期也未支持DeepSeek-V3。壁仞科技充分利用自研的Megatron-LM-BR插件、訓(xùn)練框架BR-PyTorch以及高性能加速庫suDNN、suBLAS、suCCL等，在Megatron-LM框架上率先支持了這些新特性。針對DeepSeek-V3預(yù)訓(xùn)練，壁仞支持四大并行策略（TP/EP/PP/DP）靈活組合，較原生方案（TP1PP16EP64DP2）更容易適應(yīng)不同規(guī)模節(jié)點的靈活擴展。實現(xiàn)"Attention-MoE異構(gòu)TP"技術(shù)，大幅降低了Attention顯存需求。
02.突破海外GPU高度依賴，實現(xiàn)關(guān)鍵技術(shù)國產(chǎn)替代
DeepSeek基于海外GPU做了大量算法和軟硬件協(xié)同優(yōu)化，其實現(xiàn)高度依賴海外GPU微架構(gòu)、NVLink互連、IB交換機等?；谧匝蠦IREN大算力TCore、高速互連BLink等技術(shù)，壁仞科技在DeepSeek開源周之前就已經(jīng)實現(xiàn)了FlashMLA、DeepGEMM、DeepEP等核心模塊類似功能和優(yōu)化技術(shù)，并進行了軟硬協(xié)同深度優(yōu)化，端到端打通了訓(xùn)練全流程，實現(xiàn)了關(guān)鍵技術(shù)的國產(chǎn)自主可控。
03.業(yè)界首創(chuàng)顯存優(yōu)化雙擎技術(shù)，實現(xiàn)滿血版高效訓(xùn)練
DeepSeek-V3滿血版有671B參數(shù)，官方推薦方案至少需要1024個H800（TP1PP16EP64DP1）才能進行全參訓(xùn)練。為了應(yīng)對顯存挑戰(zhàn)，壁仞科技自主創(chuàng)新Async Offload、GPU-based Chunk Optimizer等精度無損的顯存優(yōu)化技術(shù)，將大量激活值及優(yōu)化器狀態(tài)異步卸載至CPU內(nèi)存，實現(xiàn)僅需4096GB顯存（8-16臺單機8卡GPU機器）即可支持DeepSeek-V3全參高效訓(xùn)練。與此同時，通過巧妙地重疊計算與通信，上述顯存優(yōu)化技術(shù)幾乎沒有帶來訓(xùn)練性能的損失。另外支持智能重計算策略，自動識別顯存瓶頸層，實現(xiàn)"算力換空間"智能決策。通過Async Offload和重計算顯存優(yōu)化雙擎技術(shù)，實現(xiàn)算力開銷和顯存節(jié)約的最佳均衡。
04.業(yè)界首創(chuàng)"虛擬層+動態(tài)重排"技術(shù)，大幅降低流水線氣泡
DeepSeek的DualPipe技術(shù)能掩蓋部分傳輸開銷及大幅降低流水線氣泡，但DualPipe需要GPU微架構(gòu)層面對計算單元進行精確控制才能實現(xiàn)計算和通信的高效并發(fā)，相比1F1B，DualPipe需要增加1倍的模型權(quán)重及部分激活值顯存消耗。相比1F1B，Interleave with Virtual Pipeline技術(shù)可以在不增加顯存消耗的情況下大幅降低流水線氣泡，但是要求每個PP Stage的layer數(shù)是均衡的。DeepSeek-V3有61個Layer，PP8/PP16都無法均衡切分Layer導(dǎo)致無法使能Virtual Pipeline，壁仞科技業(yè)界首創(chuàng)"虛擬層+動態(tài)重排"技術(shù)，通過插入3個虛擬層實現(xiàn)64層均勻切分，重排部分層實現(xiàn)負載均衡，避免流水線等待，最終實現(xiàn)高效PP并行。
05.融合算子加速體系，釋放國產(chǎn)GPU性能潛力
針對DeepSeek-V3的Linear、Attention、YaRN RoPE、Dispatch、Combine等關(guān)鍵耗時算子，壁仞科技基于其GPU架構(gòu)特點做了極致的圖算/通算融合優(yōu)化，從多計算操作極致的片上融合，張量處理器與矢量處理器極致異步融合，多級緩存的流水融合，到計算與通信融合，并進一步引入自動化的Kernel Selection技術(shù)，基于硬件計算/通信/訪存建模的CostModel針對不同工作負載自適應(yīng)選擇最優(yōu)內(nèi)核實現(xiàn)，將芯片綜合能效發(fā)揮到極致。
06.整合關(guān)鍵技術(shù)模塊，實現(xiàn)DeepSeek-V3滿血版端到端高效預(yù)訓(xùn)練
壁仞科技壁礪TM系列產(chǎn)品如壁礪TM106M、106B等產(chǎn)品具備高算力、高能效、高通用性等優(yōu)勢，訓(xùn)推一體，已在多個行業(yè)完成大規(guī)模商業(yè)化落地，其中在中國電信落地了國內(nèi)少有的真正實現(xiàn)市場化建設(shè)和運營的國產(chǎn)千卡集群，連續(xù)訓(xùn)練30天不中斷，斷點續(xù)訓(xùn)小于5分鐘，支持客戶完成大模型訓(xùn)練，穩(wěn)定性、性能、精度各項指標(biāo)達到客戶要求。此次基于壁礪TM106系列產(chǎn)品，壁仞科技快速高效完成了DeepSeek-V3各項關(guān)鍵技術(shù)落地，基于RedPajama-Data-1T-Sample主流開源數(shù)據(jù)集實現(xiàn)了端到端高效預(yù)訓(xùn)練，Loss收斂正常。
07.實現(xiàn)W4A16細粒度量化技術(shù)，支持DeepSeek-V3/R1滿血版高效推理
壁仞科技在此前已經(jīng)支持了BF16、INT8等版本的DeepSeek-V3/R1滿血版推理，此次新提出W4A16等細粒度混合量化技術(shù)，進一步降低了處理延時，提升了總吞吐。另外針對DeepSeek官方最新發(fā)布的推理系統(tǒng)參考架構(gòu)，壁仞科技已初步實現(xiàn)了分布式EP以及PD分離架構(gòu)，將進一步提供更高性價比的推理集群解決方案。
08. One More Thing，業(yè)界首創(chuàng)大模型彈性訓(xùn)推一體架構(gòu)，實現(xiàn)集群最佳利用效率
DeepSeek 開放周最后一天公布了One More Thing-DeepSeek-V3/R1推理系統(tǒng)參考方案，為行業(yè)展示了如何實現(xiàn)高性能、低成本的分布式推理集群。其提到“由于白天的服務(wù)負荷高，晚上的服務(wù)負荷低，因此我們實現(xiàn)了一套機制，在白天負荷高的時候，用所有節(jié)點部署推理服務(wù)。晚上負荷低的時候，減少推理節(jié)點，以用來做研究和訓(xùn)練”，在計算推理成本時，其將釋放給訓(xùn)練使用的資源排除在外，因此降低了推理成本（大概20%= 100% - 226節(jié)點/278節(jié)點）。但如何實現(xiàn)訓(xùn)練和推理任務(wù)高效共享資源呢？
此前在落地千卡集群時，壁仞科技已業(yè)界首創(chuàng)了大模型3D并行訓(xùn)練任務(wù)自動彈性伸縮機制，可以在大模型訓(xùn)練任務(wù)不中斷的情況下，根據(jù)集群的資源情況自動進行在線擴縮容。根據(jù)業(yè)務(wù)流量情況自動進行削峰填谷，對大模型推理服務(wù)進行實例縮容、擴容，相應(yīng)的訓(xùn)練任務(wù)則自動進行擴容、縮容。通過這套彈性訓(xùn)推一體架構(gòu)，可以將集群資源的使用率保持在近100%，大幅降低資源空閑浪費成本。
壁仞科技打造了軟硬一體、全棧優(yōu)化、異構(gòu)協(xié)同、開源開放的大規(guī)模智算集群全棧解決方案，憑借其技術(shù)創(chuàng)新能力和商業(yè)化落地成果，先后獲得環(huán)球時報新質(zhì)生產(chǎn)力產(chǎn)業(yè)實踐“人工智能”示范標(biāo)桿等多個權(quán)威技術(shù)獎項，技術(shù)方案和產(chǎn)品已在運營商、智算中心、行業(yè)AI、金融、電力等多個行業(yè)規(guī)模落地。此次通過八大核心技術(shù)賦能DeepSeek-V3滿血版全棧式訓(xùn)練推理，進一步提升壁仞科技軟硬一體、開箱即用的產(chǎn)品實力，支持客戶利用好DeepSeek的新質(zhì)生產(chǎn)力實現(xiàn)業(yè)務(wù)創(chuàng)新落地！
