近日,Arm在 SIGGRAPH 上,發(fā)布 Arm 神經(jīng)技術 (Arm Neural Technology),該技術為業(yè)界首創(chuàng),并將專用神經(jīng)加速器引入 2026 年推出的 Arm GPU。這項技術能將用于圖形渲染的 GPU 性能提升至更高水平;為當今始于手游領域更為復雜的移動端內容減少了多達 50% 的 GPU 工作負載。而這僅僅只是開始,這項新技術的面世為行業(yè)在未來實現(xiàn)更多的端側人工智能 (AI) 創(chuàng)新奠定了基礎。
與此同時,Arm 還推出了全球首個全面開放的神經(jīng)圖形開發(fā)套件,旨在將 AI 渲染集成到現(xiàn)有的工作流程中,使得開發(fā)者能夠在硬件面世前一年就能著手進行開發(fā)。套件中的所有 Arm 神經(jīng)技術都將全面開放,其中包括游戲工作室重新訓練模型所需的模型架構、權重和工具。目前,該開發(fā)套件已得到 Enduring Games、Epic Games(虛幻引擎)、網(wǎng)易游戲、Sumo Digital、騰訊游戲和 Traverse Research 等合作伙伴的支持。
Arm 人工智能和開發(fā)者平臺技術院士 Geraint North 表示:“此次發(fā)布標志著桌面級別的神經(jīng)圖形技術已經(jīng)可以在移動設備上實現(xiàn),這對于正在向端側 AI 轉型的前沿游戲開發(fā)者而言,無疑是一個重要的里程碑。Arm 神經(jīng)技術不僅適用于游戲領域,還將對神經(jīng)攝像頭工作負載等應用帶來切實的影響,為開發(fā)者在從畫質優(yōu)化升級到路徑追蹤等端側用例中,提供大規(guī)模實現(xiàn)圖形技術的強大工具?!?/p>
以開發(fā)者需求為本:針對神經(jīng)技術的開放開發(fā)套件
開發(fā)者即刻便能開始使用神經(jīng)圖形開發(fā)套件,在硬件面世前著手集成 AI 圖形技術。該開發(fā)套件專為手游打造,涵蓋集成和定制 AI 視覺效果所需的各項資源,其中包括:
·虛幻引擎 (Unreal Engine) 插件
·基于 PC 的 Vulkan 模擬
·更新的分析工具
·通過 GitHub 和 Hugging Face 提供的完全開放的模型
·面向 Vulkan 的 Arm 機器學習 (ML) 擴展
·面向 Vulkan 的開放 Arm ML 擴展能讓開發(fā)者將 AI 直接引入熟悉的渲染管線。傳統(tǒng) Vulkan 支持圖形管線 (Graphics Pipeline) 和計算管線 (Compute Pipeline),而 Arm ML 擴展還引入了第三種管線,即專為神經(jīng)網(wǎng)絡推理而打造的圖管線 (Graph Pipeline)。為此,開發(fā)者能更輕易地將 AI 作為圖形管線的原生部分整合到移動端渲染。
神經(jīng)圖形的實際應用:神經(jīng)超級采樣
Arm 神經(jīng)超級采樣 (Arm Neural Super Sampling, Arm NSS) 是一款 AI 驅動的圖形優(yōu)化升級引擎,充分利用了開發(fā)套件內的各項資源。它建立在 Arm 精銳超級分辨率技術 (Arm Accuracy Super Resolution, Arm ASR) 的基礎之上,而這一技術已被《堡壘之夜》、《無限暖暖》等游戲工作室采用。
Arm NSS 能夠以每幀四毫秒的耗時,將分辨率從 540p 優(yōu)化升級至 1080p,且畫質幾乎與原生質量無異。對比于傳統(tǒng)的全幀渲染方法,開發(fā)者可通過 Arm NSS 減少多達 50% 的 GPU 工作負載,從而靈活選擇如何利用這些節(jié)省的資源,既可用于降低游戲的整體功耗,也可用于提升幀率或增強視覺效果。這項技術還能讓開發(fā)者利用 AI,以保留表面細節(jié)、光照和運動清晰度,從而能夠根據(jù)游戲需求靈活平衡視覺保真度和能耗。
遠不止于畫面優(yōu)化升級,更多神經(jīng)圖形應用即將推出
Arm 預計在 2026 年進一步擴展其神經(jīng)技術應用路線圖,推出利用 AI 實現(xiàn)幀率翻番而無需加倍渲染負載的神經(jīng)幀率提升 (Neural Frame Rate Upscaling),以及采用 AI 在移動設備上實現(xiàn)實時路徑追蹤,且每個像素只需發(fā)射更少光線的神經(jīng)超級采樣與降噪 (Neural Super Sampling and Denoising)。這兩項應用都將于硬件面世前推向市場。
通過這些新技術的開發(fā),Arm 正在實現(xiàn)能針對實際性能具備開放、可獲取且優(yōu)化提升的神經(jīng)圖形技術。Arm 為開發(fā)者提供統(tǒng)一的開放平臺,使其能夠更輕松地在 Arm 計算平臺上跨各類端側體驗部署 AI。
合作伙伴證言
Enduring Games 創(chuàng)始人兼首席執(zhí)行官 Adam Creighton 表示:“Enduring Games 和 Arm 擁有共同的愿景,致力于賦能開發(fā)者在各種不同的設備上,都能實現(xiàn)更好的控制度、性能和內容質量。Arm 的神經(jīng)圖形開發(fā)套件為未來的手游開發(fā)提供了專用平臺,使得開發(fā)者能充滿興奮地探索 AI 增強的工作流程,并為全球玩家?guī)砀S富、更沉浸式的游戲體驗?!?/p>
網(wǎng)易游戲資深游戲引擎開發(fā)專家吳彧文表示:“網(wǎng)易游戲的使命之一,就是在每一部手機上實現(xiàn)主機級別的視覺體驗。我們認為這次 Arm 推出的新技術是助力我們使命落實的重要一步。我們很高興能與 Arm 合作,共同優(yōu)化神經(jīng)圖形開發(fā)套件,通過利用我們移動端引擎的卓越性能,使其在終端設備上得以充分發(fā)揮?!?/p>
Sumo Digital 集團技術總監(jiān) Scott Kirkland 表示:“Sumo Digital 深信,神經(jīng)圖形技術和基于 AI 的優(yōu)化升級將為手游領域帶來革新——在不過度消耗電池壽命的情況下,實現(xiàn)游戲主機級別的視覺效果和深度沉浸式體驗。神經(jīng)技術開啟了一個令人驚嘆的圖形與便攜性相結合的新時代,我們很高興能與 Arm 合作,共同探索手游創(chuàng)意和技術創(chuàng)新的未來?!?/p>
騰訊游戲表示:“騰訊游戲的引擎技術團隊與 Arm 圍繞神經(jīng)圖形開發(fā)套件緊密合作,共同探索并推進在移動設備上實現(xiàn)主機級別的渲染效果。我們期待與 Arm 持續(xù)攜手,在該開發(fā)套件的持續(xù)演進和廣泛應用中發(fā)揮關鍵作用,進而支持新一代手游的開發(fā)。”
Traverse Research 首席執(zhí)行官 Jasper Bekkers 表示:“Traverse Research 始終致力于探索計算機圖形技術的極限所在,我們很自豪能與 Arm 合作,共同將其對神經(jīng)渲染的愿景變?yōu)楝F(xiàn)實。”