爆紅智能AI如何看待DPU ChatGPT這樣說

作者：愛集微 2023-02-09

相關輿情 AI解讀生成海報

來源：芯啟源 #芯啟源#

3.6w

上線僅2個月，OpenAI的最新一代產(chǎn)品 - AI聊天機器人ChatGPT月活用戶接近1億。

作為自然語言處理（NLP）領域的前沿研究成果之一，ChatGPT已成為AIGC里程碑式的產(chǎn)品。

這周我們也與ChatGPT聊了聊他/她對大規(guī)模預訓練背后所需資源的看法。

讓我們一起來看看ChatGPT的回答是否能讓你滿意呢？

強大的語言生成能力現(xiàn)在引起更多討論的是規(guī)模預訓練。在過去的很長一段時間里，許多的AI廠商都是通過本地設備來進行訓練的。

GPT-3所訓練的參數(shù)約為1750億個，這部分需要大量的算力，而目前我們已知ChatGPT導入了至少1萬顆英偉達高端GPU來訓練模型。

業(yè)界部分專家認為GPT-4訓練參數(shù)可能會達到100萬億個參數(shù)，如此大規(guī)模、長時間的GPU集群訓練任務，也對網(wǎng)絡互聯(lián)底座的性能、可靠性、成本等各方面都提出了極致的要求。

面對千億、萬億參數(shù)規(guī)模的大模型訓練，僅僅是單次計算迭代內(nèi)梯度同步需要的通信量就高達TB量級。此外還有各種并行模式、加速框架引入的通信需求，使得傳統(tǒng)低速網(wǎng)絡的帶寬遠遠無法支撐GPU集群的高效計算，甚至成為了其中關鍵的瓶頸。

因此要充分發(fā)揮GPU計算資源的強大算力，必須構建一個全新的高性能網(wǎng)絡底座，用高速網(wǎng)絡的大帶寬來助推整個集群計算的高效率。

以CPU+GPU的異構計算模型已經(jīng)成為高性能計算領域中的主流計算架構。而高吞吐、低延時是高性能計算場景中最為迫切的應用需求。

我們可以知道，GPUDirect RDMA是RDMA在異構計算場景中的應用延伸，使得GPU之間的通信不在依賴CPU轉發(fā)，從而進一步提升高性能計算場景中整體算力。

從DPU芯片的實現(xiàn)角度看，不同DPU廠商的核心競爭壁壘在于專用加速引擎的硬件實現(xiàn)上。由于DPU是數(shù)據(jù)中心中所有服務器的流量入口，并以處理報文的方式處理數(shù)據(jù)，在網(wǎng)絡芯片領域積累更多的廠商將更有優(yōu)勢。

傳統(tǒng)的GPU在訪問存儲時，需要將數(shù)據(jù)先搬移到系統(tǒng)內(nèi)存，再由系統(tǒng)內(nèi)存搬移到目標設備。而采用DPU介入后可以繞過CPU，直接通過PCIe訪問遠端的NVMe設備，加速AI訓練，大大降低CPU的開銷。

在AI/ML領域的工作負載對于存儲系統(tǒng)的要求十分苛刻，目前此類應用已主要采用全閃存存儲，其中NVMe全閃存逐漸成為主流趨勢。同時存儲與前端應用主機的網(wǎng)絡存儲協(xié)議開始采用NVMe over Fabrics(NVMe-oF)。

NVMe-oF是一種存儲網(wǎng)絡協(xié)議，通過網(wǎng)絡將NVMe命令傳送到遠程NVMe子系統(tǒng)，以利用NVMe 全閃存的并行訪問和低延遲，該規(guī)范定義了一個協(xié)議接口，旨在與高性能fabric技術配合使用，包括通過實現(xiàn)RDMA技術的InfiniBand、RoCE v2、iWARP或TCP。

NVMe-oF是一種使用NVMe協(xié)議將訪問擴展到遠程存儲系統(tǒng)的非易失性存儲器（NVM）設備的方法。這使得前端接口能夠連接到存儲系統(tǒng)中，擴展到大量NVMe設備，并延長數(shù)據(jù)中心內(nèi)可以訪問NVMe子系統(tǒng)的距離。NVMe-oF的目標是顯著改善數(shù)據(jù)中心網(wǎng)絡延遲，并為遠程NVMe設備提供近似于本地訪問的延遲，目標為10us。

我們知道AI對計算的需求非常大，目前主流的AI加速還是以GPU、FPGA和一些專門的AI芯片等為主。在GPU、AI芯片用于AI計算之前都是CPU承擔計算的任務，CPU的效率難以滿足需求，從而產(chǎn)生CPU+GPU+ASIC的異構計算。隨著DPU的出現(xiàn)，這種異構計算的發(fā)展更加徹底，可以更大提供并行處理能力，適合大規(guī)模計算的發(fā)展。