在AI大模型引發(fā)的算力就是生產(chǎn)力的時代，圍繞GPU和HBM的角逐看似趨于明朗，但一場新的暗戰(zhàn)卻在積蓄力量，有可能成為左右戰(zhàn)局的新籌碼。

傳奇CPU大神兼Tenstorrent首席執(zhí)行官Jim Keller在前幾天發(fā)布的微博簡明扼要指出算力系統(tǒng)中有IO、存儲和計算三大關(guān)鍵，而以太網(wǎng)將贏得IO之戰(zhàn)不久，他又用心良苦直接建議英偉達(dá)使用以太網(wǎng)，而不是InfiniBand（IB）。

如果筆者理解無誤，Jim Keller說的以太網(wǎng)應(yīng)該指的是RoCE，但意欲超越RoCE的超以太網(wǎng)聯(lián)盟UEC于去年年中成立。而英偉達(dá)獨享的IB會像CUDA一樣，遭受光明頂式的圍攻嗎？

三類技術(shù)競逐網(wǎng)絡(luò)IO

隨著訓(xùn)練模型規(guī)模的指數(shù)級增長，支撐AI算力的分布式集群網(wǎng)絡(luò)規(guī)模也日益擴大。有分析稱，AI模型每隔兩到三年將增長1000倍，目前的數(shù)據(jù)中心交換機市場支出主要用于連接通用服務(wù)器的前端網(wǎng)絡(luò)，AI工作負(fù)載將需要建立新的大量的后端網(wǎng)絡(luò)。由此多臺服務(wù)器之間的互聯(lián)通信速率成為影響訓(xùn)練表現(xiàn)的關(guān)鍵因素，提升算力效率、構(gòu)建高性能網(wǎng)絡(luò)也成為大廠們新的練兵場。

傳統(tǒng)以太網(wǎng)主要采用TCP/IP來構(gòu)建，但在生成式AI時代顯然“難合時宜”。由于其需要數(shù)據(jù)發(fā)送方將數(shù)據(jù)多次復(fù)制到內(nèi)核，然后再通過網(wǎng)絡(luò)發(fā)送到接收方，接收方接收數(shù)據(jù)后還需要再次進(jìn)行內(nèi)存復(fù)制和處理，這一系列操作導(dǎo)致了較高的延遲，通常在毫秒級別，這對于需要低延遲的多機多卡網(wǎng)絡(luò)來說顯然不如人意。

在此情形之下，RDMA（遠(yuǎn)程直接內(nèi)存訪問技術(shù)）應(yīng)運而生。作為一種高效的網(wǎng)絡(luò)互聯(lián)技術(shù)，它允許數(shù)據(jù)在網(wǎng)絡(luò)中的兩個節(jié)點之間直接傳輸，而不需要內(nèi)核的參與，所有的傳輸處理都由NIC（網(wǎng)絡(luò)接口卡）硬件來完成，不僅降低了對計算資源的占用，還大大提升了數(shù)據(jù)傳輸?shù)乃俾省?/strong>

目前來看，RDMA有三類主要技術(shù)實現(xiàn)方式。

相關(guān)資料顯示，英偉達(dá)中意的Infiniband（IB）作為一種高性能的互聯(lián)技術(shù)，從一開始就內(nèi)置了RDMA的支持，能夠?qū)崿F(xiàn)節(jié)點之間的高速直接內(nèi)存訪問和數(shù)據(jù)傳輸，具有極高的吞吐量和極低的延遲。RoCE（RDMA over converged Ethernet）則是在以太網(wǎng)上實現(xiàn)RDMA的技術(shù)，它使用標(biāo)準(zhǔn)的以太網(wǎng)作為基礎(chǔ)傳輸介質(zhì)，并通過RDMA適配器和適當(dāng)?shù)膮f(xié)議棧來實現(xiàn)RDMA功能。iWARP則是基于TCP/IP協(xié)議棧的RDMA實現(xiàn)，它使用了普通的以太網(wǎng)適配器和標(biāo)準(zhǔn)的網(wǎng)絡(luò)交換機，并通過在TCP/IP協(xié)議棧中實現(xiàn)RDMA功能來提供高性能的遠(yuǎn)程內(nèi)存訪問和數(shù)據(jù)傳輸。

由于RoCE和IB自帶不同的“基因”，也呈現(xiàn)出相異的優(yōu)劣勢。IB網(wǎng)絡(luò)作為一種原生的RDMA網(wǎng)絡(luò)，在無擁塞和低延遲環(huán)境下表現(xiàn)卓越，以其高可靠性、低時延、高帶寬等特點在超級計算機集群中得到廣泛的應(yīng)用。此外，隨著AI大模型的指數(shù)級進(jìn)化，尤其是英偉達(dá)在GPU的絕對壟斷地位，也讓IB成為GPU服務(wù)器的首選網(wǎng)絡(luò)互連技術(shù)。

而RoCE憑借其依托成熟的以太網(wǎng)生態(tài)、最低的組網(wǎng)成本以及最快的帶寬迭代速度，在中大型訓(xùn)練GPU集群的場景中展現(xiàn)出更高的適用性。其突出的優(yōu)勢在于用戶從以太網(wǎng)切換到RoCE，只需購買支持RoCE的網(wǎng)卡，其他網(wǎng)絡(luò)設(shè)備都是兼容的。目前這一陣營已擁有AMD、博通、英特爾、Meta、微軟和甲骨文等巨頭。

相對來說，iWARP的協(xié)議戰(zhàn)相對更復(fù)雜，而且由于TCP的限制，它只能支持可靠傳輸，這也導(dǎo)致了iWARP的發(fā)展速度不如RoCE和IB。

兩強相爭天平傾向以太網(wǎng)？

盡管IB自帶強者風(fēng)范，但其隱憂也在深藏。

由于IB重新設(shè)計了物理鏈路層、網(wǎng)絡(luò)層、傳輸層，從鏈路層到傳輸層都無法與現(xiàn)有的以太網(wǎng)設(shè)備兼容，想要切換或擴容，成本均過于高昂。如某數(shù)據(jù)中心想要將數(shù)據(jù)交換方式從以太網(wǎng)切換到IB的技術(shù)，那么需要購買全套的IB設(shè)備，包括網(wǎng)卡、線纜、交換機和路由器等。此外在構(gòu)建大規(guī)模的AI集群時，如果節(jié)點數(shù)量超過了IB網(wǎng)絡(luò)的擴展能力，由于IB的可擴展性差，不僅會增加擴建成本，也對日后的流量管理、其他服務(wù)集成造成麻煩，甚至?xí)绊慖B的低延遲性能。

據(jù)相關(guān)數(shù)據(jù)顯示，網(wǎng)絡(luò)一般占集群成本的20%。盡管黃教主言之鑿鑿，說IB在相同帶寬下的大規(guī)模性能比以太網(wǎng)高出 20%，因此IB實際上是免費的。但客戶仍要拿出真金白銀，在承受了GPU的溢價之后，還要承接IB高成本的暴擊。

看起來盡管性能優(yōu)異，但I(xiàn)B顯然更適合于中小規(guī)模網(wǎng)絡(luò)布局。而RoCE則完美地避開了這一“硬傷”，相對更受大廠的青睞。

市場還是會用“大腦”投票的。最近有報道稱，OpenAI和微軟計劃用千億美金打造一款名為“Stargate”的超級計算機。在選擇網(wǎng)絡(luò)方案時，即便微軟是Infiniband的用戶，OpenAI還是更加傾向使用以太網(wǎng)電纜而不是Infiniband電纜（簡稱IB），讓AI行業(yè)巨頭棄用成熟的IB選擇以太網(wǎng)的原因也在于IB成本過高，可擴展性不足。

有分析指出，雖然大部分市場需求將來自一級云服務(wù)運營商，但預(yù)計2/3級和大型企業(yè)的需求量將很大，以頭部公司為例，除了微軟以外，亞馬遜、Meta、騰訊這些頭部公司機器學(xué)習(xí)場景用的都是以太網(wǎng)而非IB。當(dāng)Stargate這么大規(guī)模的AI集群搭建也選擇以太網(wǎng)技術(shù)，已然表明了大廠們對以太網(wǎng)的青睞。

一位行業(yè)人士分析，不可否認(rèn)，目前IB依舊是AI廠商構(gòu)建網(wǎng)絡(luò)的主要選擇，但是對比IB，以太網(wǎng)低成本、易擴展、不易被廠商綁定的優(yōu)勢愈發(fā)明顯。對于考慮部署網(wǎng)絡(luò)的AI廠商來說，選擇跟隨大廠一起選擇以太網(wǎng)，根據(jù)市場需求不斷實現(xiàn)技術(shù)的更新迭代，顯然會比選擇大筆資金入手IB更為劃算。

此外，技術(shù)的進(jìn)階來看，以太網(wǎng)也更為“到位”。隨著AI網(wǎng)絡(luò)加速向更高速度過渡，預(yù)計到2025年，AI后端網(wǎng)絡(luò)大部分端口將達(dá)到800G，而以太網(wǎng)的速度已可實現(xiàn)每秒800G，而IB的速度為400G，這讓以太網(wǎng)技術(shù)可更好地滿足AI發(fā)展需要的“理念”。

據(jù)Dell’Oro 的預(yù)測，在AI后端網(wǎng)絡(luò)中部署的交換機支出將使數(shù)據(jù)中心交換機市場擴大50%，IB和以太網(wǎng)之間的競爭正在加劇。雖然IB預(yù)計將保持領(lǐng)先地位，但以太網(wǎng)預(yù)計將取得實質(zhì)性進(jìn)展，到2027年收入份額將增加20%，3年內(nèi)收入份額翻番，留給以太網(wǎng)的未來發(fā)展空間可觀。

UEC成為攪局者？

而在IB和RoCE明爭暗斗之際，一個新的攪局者超以太網(wǎng)聯(lián)盟UEC卻已橫空出世，其目標(biāo)是超越現(xiàn)有的以太網(wǎng)功能，為高性能計算和AI提供高性能分布式和無損傳輸層。

目前這一陣營云集了博通、Cisco Systems等芯片廠商，云巨頭中的微軟和Meta以及交換機廠商中的 Cisco、HPE和Arista Networks。

UEC認(rèn)為，幾十年前定義的RDMA在要求極高的人工智能和機器學(xué)習(xí)網(wǎng)絡(luò)流量中已過時，RDMA以大流量塊的形式傳輸數(shù)據(jù)，可能導(dǎo)致鏈路不平衡和負(fù)擔(dān)過重，是時候為新興應(yīng)用構(gòu)建支持RDMA的現(xiàn)代傳輸協(xié)議了。

據(jù)了解，UEC傳輸協(xié)議正在開發(fā)中，旨在提供比現(xiàn)有的RDMA更好的以太網(wǎng)傳輸，仍支持RDMA的同時保留以太網(wǎng)IP的優(yōu)勢。UEC傳輸是一種靠近傳輸層的新形式，它有一些語義調(diào)整擁塞通知協(xié)議，并且增強了安全功能。UEC將提供更靈活的傳輸，不需要無損網(wǎng)絡(luò)，允許many to many人工智能工作負(fù)載所需的多路徑和無序數(shù)據(jù)包傳輸?shù)裙δ堋?/p>

目前，UEC 正處于開發(fā)的早期階段，關(guān)鍵技術(shù)概念仍在確定和研究中。據(jù)了解，第一批批準(zhǔn)草案或準(zhǔn)備就緒，第一批基于標(biāo)準(zhǔn)的產(chǎn)品也預(yù)計將于今年推出。

看起來Jim Keller有些“忠言逆耳”的意味，但黃教主會改弦易轍嗎？上述行業(yè)人士認(rèn)為，技術(shù)都會有利弊和周期，如果太貴、割裂和獨吃的話，就一定會給替代技術(shù)以市場。

而當(dāng)IB和RoCE爭霸之際，以UEC為代表的新興傳輸協(xié)議又會帶來怎樣的變局？屆時是一統(tǒng)天下還是三足鼎立？