當前，AI正在成為移動端游戲體驗的重要組成部分。從幀率和畫質(zhì)增強，到光線追蹤，再到NPC互動，為手機游戲帶來體驗和交互上的顯著提升。
近日，在國際計算機圖形與交互技術(shù)領(lǐng)域頂會SIGGRAPH上，Arm發(fā)布業(yè)界首創(chuàng)Arm神經(jīng)技術(shù) (Arm Neural Technology)，將專用神經(jīng)加速器引入2026年推出的GPU中。該技術(shù)能夠?qū)⒂糜趫D形渲染的GPU性能提升至更高水平，使包括手游領(lǐng)域在內(nèi)的更為復(fù)雜的移動端內(nèi)容減少超過50%的GPU工作負載。
“目前移動端的圖形技術(shù)發(fā)展愈發(fā)復(fù)雜，用戶對卓越的游戲體驗期待也日益攀升。Arm認為實現(xiàn)這一目標的唯一途徑，就是通過游戲和AI集成，這也正是Arm推出神經(jīng)技術(shù)的原因所在。手游領(lǐng)域的發(fā)展非常迅速，Arm將持續(xù)投資于這一技術(shù)，并且引領(lǐng)行業(yè)發(fā)展?！盇rm終端事業(yè)部產(chǎn)品管理總監(jiān)Steve Steele在接受集微網(wǎng)等媒體采訪時表示。
強攻GPU創(chuàng)新
如今，全球游戲產(chǎn)業(yè)正在加速發(fā)展。移動設(shè)備作為大多數(shù)游戲的運行載體，目前已成為近半數(shù)游戲營收的來源。全球市場對高畫質(zhì)、高幀率的視覺效果的需求，正不斷推動手機游戲性能的極限，也是推動Arm在GPU領(lǐng)域進行創(chuàng)新的動力所在。
全球市場看，亞太地區(qū)對于手游的需求非常顯著。例如在韓國，《天堂 M》等角色扮演游戲和《崩壞：星穹鐵道》等回合制戰(zhàn)斗游戲占據(jù)了消費支出的很大比重，中國市場的情況也與之類似，《王者榮耀》等多人競技游戲以及《和平精英》等戰(zhàn)術(shù)競技游戲，在拉動大量消費的同時，也將移動設(shè)備的性能推向了極限。而這類游戲?qū)D形性能的要求極為嚴苛。因此，如何提升手游領(lǐng)域的高水準畫質(zhì)成為Arm設(shè)計GPU的關(guān)注點。
多年來，Arm持續(xù)推動移動端的圖形性能表現(xiàn)。包括2022年推出光線追蹤、可變速率著色等功能；2023年引入延遲頂點著色技術(shù)(DVS)；2024年又進一步強化其性能與功能的表現(xiàn)，并推出精銳超級分辨率技術(shù) (Arm Accuracy Super Resolution, Arm ASR)， 通過基于著色器的高效算法。通過提升計算著色器的性能，來增強GPU的AI性能。
而Arm此次推出的神經(jīng)技術(shù)，則成為其GPU設(shè)計創(chuàng)新中新的里程碑。
眾多引AI賦能而提升的手機游戲體驗，離不開底層CPU、GPU和NPU的硬件支撐，也離不開相關(guān)軟件的支持，在以高能效的方式運行AI的同時，盡可能減少開發(fā)者的使用障礙。這也是為什么領(lǐng)先的IP和芯片設(shè)計公司都在強調(diào)開發(fā)工具、軟件棧的重要原因。因為如果硬件的差異化與軟件的一致性上如果缺乏妥善規(guī)劃，將給開發(fā)者帶來巨大負擔(dān)。
正因如此，Arm去年針對Arm CPU推出了Arm KleidiAI軟件庫。各類AI算法的運行均始于Arm CPU，確保在支持更多AI算法的前提下，CPU能提供開發(fā)者所需的性能。
而對于當前開發(fā)者在GPU AI開發(fā)上的趨勢，特別是考慮到AI與圖形管線深度結(jié)合，以及3A手游中常見的高分辨率圖形工作負載。Arm認為，隨著AI與實時圖形技術(shù)的深度融合，行業(yè)需要具備緊密集成、高性能且高能效的基于GPU的 AI。從而讓開發(fā)者能在GPU上輕松運行AI，而提高能效的理想解決方案是將計算放置于數(shù)據(jù)所在位置，而非將數(shù)據(jù)傳輸至計算之處。
GPU負載減半如何做到
據(jù)Arm方面介紹，此次發(fā)布的Arm神經(jīng)技術(shù) (Arm Neural Technology)包括一整套軟硬件一體的解決方案，包括硬件、軟件和工具來支持整個生態(tài)系統(tǒng)的發(fā)展。神經(jīng)技術(shù)的硬件部分即神經(jīng)加速器。Arm神經(jīng)加速器將深度嵌入到Arm Mali GPU中，可以實現(xiàn)非常低的延遲。同時，AI和圖形之間的接口也能達到極高效且低功耗的表現(xiàn)。
這樣的思路在桌面端NVIDIA DLSS的神經(jīng)技術(shù)，包含多幀生成、光纖重建、超級分辨率等，其主要利用的是NVIDIA GPU中的張量核心。
實際上，一些神經(jīng)技術(shù)已在桌面PC端應(yīng)用多年，在提升畫質(zhì)、分辨率及幀率方面的優(yōu)勢不僅已充分獲得驗證，而這些優(yōu)勢同樣適用于移動端，但移動端對能耗的敏感度遠高于桌面設(shè)備。而Arm神經(jīng)技術(shù)，具備靈活且前沿的AI功能，專為移動端優(yōu)化，使開發(fā)者能夠輕松部署先進的神經(jīng)渲染技術(shù)，一切只需在Arm技術(shù)的基礎(chǔ)之上進行創(chuàng)新即可。
Steve Steele認為，對于Arm神經(jīng)技術(shù)而言，遠不止于是張量核心，更像是每個著色器中的“迷你”NPU，而正是這項技術(shù)支撐了其中的一個用例——Arm神經(jīng)超級采樣 (Arm NSS) 等算法，從而實現(xiàn)GPU工作負載50%的降低。
2024年，Arm推出精銳超級分辨率技術(shù) (Arm Accuracy Super Resolution, Arm ASR)，在降低單幀成本的同時，又可保證畫質(zhì)。游戲工作室可借助提升幀率、提高畫質(zhì)或降低游戲功耗。目前，該技術(shù)以集成至游戲引擎，《堡壘之夜》、《無限暖暖》等熱門游戲已率先采用該技術(shù)，而且已面向所有手游開發(fā)者開放。
但Steve Steele指出，像Arm ASR這類基于傳統(tǒng)算法的方案，其性能提升只能達到一定程度。要實現(xiàn)真正高效且高質(zhì)量的優(yōu)化升級效果，需要神經(jīng)技術(shù)的助陣。
據(jù)Steve Steele介紹，Arm NSS技術(shù)通API兼容的方式提供了一個Arm ASR的升級方案。如果說Arm ASR為基于著色器的圖形優(yōu)化升級能力樹立了新標桿，那么Arm NSS則憑借更快速、更清晰、更高能效的實時AI渲染，實現(xiàn)了進一步的性能突破。Arm NSS能夠通過較低質(zhì)量的輸入生成同等質(zhì)量的輸出，或以相同的輸入生成更高質(zhì)量的輸出，且運行時間僅需四毫秒。這意味著全方位的突破：速度更快、能耗更低、畫質(zhì)更高。
“具體而言，該技術(shù)能讓游戲以540p分辨率進行渲染，并通過兩倍性能優(yōu)化升級，輸出超高質(zhì)量的畫面。這意味著，對比于傳統(tǒng)的全幀渲染方法，開發(fā)者可減少50%的GPU工作負載。開發(fā)者可以靈活選擇如何利用這些節(jié)省的資源，既可節(jié)省下來用于降低游戲的整體功耗，也可將之用于提升幀率或增強視覺效果。”Steve Steele說。
Arm在 SIGGRAPH 大會上展示了全新演示項目“魔法城堡”。畫面中兩個高難度區(qū)域的放大效果。左側(cè)是真實標簽 (Ground Truth)，即全分辨率渲染的效果。其余圖像均采用兩倍優(yōu)化升級技術(shù)，這意味著只需渲染四分之一的像素。從中可以看到 Arm ASR在“性能”模式下的效果，以及某主流桌面級神經(jīng)優(yōu)化升級技術(shù)的效果。而Arm NSS能達到與桌面級優(yōu)化升級技術(shù)同等的畫質(zhì)，且成本更低，每幀可節(jié)省50%的工作負載。
兩個彩蛋：NSSD+NFRU
據(jù)Arm方面介紹，Arm NSS只是此次發(fā)布的Arm神經(jīng)技術(shù)的首個用例，另外還有兩個新用例正在開發(fā)中。
第一個新用例是神經(jīng)幀率提升 (Neural Frame Rate Upscaling, NFRU)，該技術(shù)通過采集連續(xù)兩幀畫面并生成中間幀，直接提升幀率。該神經(jīng)網(wǎng)絡(luò)與Arm為其GPU新增的硬件緊耦合，可加速運動向量的生成，用于追蹤像素在場景中的移動軌跡。這項技術(shù)可通過較低成本，將30 FPS的內(nèi)容優(yōu)化升級至60FPS。
第二個新用例是神經(jīng)超級采樣與降噪 (Neural Super Sampling and Denoising, NSSD)，這是一套面向光線追蹤內(nèi)容的Arm NSS擴展技術(shù)。
相比于全路徑追蹤內(nèi)容要求每個像素向場景發(fā)射數(shù)百甚至數(shù)千條光線，經(jīng)過反彈后最終抵達光源，從而讓圖形引擎精確計算該像素的亮度。但這種路徑追蹤技術(shù)的成本極高，即便是桌面系統(tǒng)也難以承受。而如果將路徑追蹤與NSSD這類神經(jīng)網(wǎng)絡(luò)相結(jié)合，每個像素只需發(fā)射少量光線，再借助神經(jīng)技術(shù)重建缺失細節(jié)，不僅能從相鄰像素推斷數(shù)據(jù)，還能利用歷史幀信息進行補充。
移動端的光線追蹤技術(shù)直至去年才被正式引入，目前在一些手游中逐步得到運用，但所帶來的影響并不顯著。Steve Steele認為，目前阻礙光線追蹤技術(shù)普及的原因之一，是其昂貴的計算成本以及能耗。而Arm的神經(jīng)AI技術(shù)，則能使不同類型的光線追蹤以更低的成本得以實現(xiàn)，比如隨機投射的光線，或較少數(shù)量的光線，使得光線追蹤能夠在移動設(shè)備上實現(xiàn)。但隨之而來的問題是如何對圖像進行深度降噪，而Arm的神經(jīng)技術(shù)則能夠智能降噪光線追蹤圖像。
下圖中是分屏對比，左側(cè)是低分辨率、帶噪點的光線追蹤圖像；右側(cè)是通過神經(jīng)技術(shù)重建后，高分辨率且無噪點的圖像。
全面開放賦能開發(fā)者
作為底層IP廠商，為游戲開發(fā)者提供支持，一直是Arm生態(tài)構(gòu)建發(fā)展重點。
Steve Steele表示，Arm之所以將神經(jīng)技術(shù)在引入GPU正式上市之前發(fā)布，是因為若要這類技術(shù)能真正釋放潛力，需要游戲開發(fā)者基于它們進行創(chuàng)新。Arm在目前正在舉行的SIGGRAPH 大會上向開發(fā)者詳細講解這些新技術(shù)及其原理，并對外發(fā)布相關(guān)軟件與模擬器。
此外，伴隨神經(jīng)技術(shù)的發(fā)布，Arm還同步推出了面向Vulkan圖形API的機器學(xué)習(xí) (ML) 擴展，實現(xiàn)跨平臺標準化，以及業(yè)內(nèi)首個面向神經(jīng)圖形技術(shù)的開放軟件開發(fā)套件 (SDK)，為開發(fā)者提供一站式的開發(fā)資源。
其中，Arm NSS可通過神經(jīng)圖形開發(fā)套件 (Neural Graphics Development Kit) 啟用，該套件也在本周的 SIGGRAPH大會上推出。該套件的核心是虛幻引擎 (Unreal Engine) 插件，開發(fā)者只需簡單幾步操作，就能將Arm NSS集成到游戲中；同時還包含開放格式的模型，這些模型將被推送至Hugging Face，也會納入開發(fā)套件。
由于硬件問世尚需一段時間，套件中還包含了面向Vulkan的Arm ML擴展的完整PC模擬器。這樣一來，開發(fā)者就能在桌面端運行整個技術(shù)棧，驗證模型在其內(nèi)容上的表現(xiàn)。如果開發(fā)者想將其集成到自有引擎中，套件中也提供了豐富的示例代碼和文檔。此外，Arm的性能工具中包含熱門開源工具 RenderDoc的Arm版本，且均已提升適配面向Vulkan的Arm ML擴展。
同時，Arm也宣布了NFRU和NSSD兩個用例的早期訪問計劃。與Arm NSS不同，這兩項用例暫時缺少Arm ASR那樣的技術(shù)生態(tài)作為支持，因此Arm正積極招募游戲工作室加入開發(fā)，協(xié)助Arm完善技術(shù)，為未來的公開發(fā)布做準備。Enduring Games、Sumo Digital、網(wǎng)易游戲、Traverse Research 等已經(jīng)與Arm展開合作，共同開發(fā)神經(jīng)圖形開發(fā)套件。
對于此次發(fā)布的神經(jīng)技術(shù)，Arm面向合作伙伴已開啟早期訪問計劃，目前已有很多游戲工作室加入。同時，Arm也與游戲引擎公司進行合作。目前已得到了來自業(yè)界的積極反饋。其中，Arm神經(jīng)圖形開發(fā)套件已得到 Enduring Games、Epic Games（虛幻引擎）、網(wǎng)易游戲、Sumo Digital、騰訊游戲和 Traverse Research 等合作伙伴的支持。
Steve Steele強調(diào)，雖然移動端神經(jīng)技術(shù)與桌面端存在相似性。但向開發(fā)者提供技術(shù)的方式卻大相徑庭。而與桌面端和主機端不同的是，Arm的所有神經(jīng)技術(shù)都將全面開放，這意味著游戲工作室重新訓(xùn)練模型所需的模型架構(gòu)、權(quán)重以及工具，全部可供使用。
“Arm這樣做，不僅因為賦能生態(tài)系統(tǒng)是DNA，我們還相信不同游戲有不同需求，只有通過全面開放，開發(fā)者才能針對其獨特工作負載進行適配優(yōu)化。Arm不僅會全力優(yōu)化今日提及的所有技術(shù)的開箱即用體驗（如引擎插件等技術(shù)），同時也為開發(fā)者保留了底層的完整控制，那些希望進一步調(diào)優(yōu)的開發(fā)者，盡可放手去嘗試?！盨teve Steele說。
