2月27日,Arm控股有限公司發(fā)布了Armv9邊緣人工智能(AI)計算平臺。據(jù)悉,該平臺可支持運行超10億參數(shù)的端側(cè)AI模型。
Arm高級副總裁兼物聯(lián)網(wǎng)事業(yè)部總經(jīng)理PaulWilliamson表示:“AI的革新已不再局限于云端。隨著世界的互聯(lián)和智能化水平的日益提升,從智慧城市到工業(yè)自動化,在邊緣側(cè)處理AI工作負載不僅帶來顯著的優(yōu)勢,其必要性更是不可或缺。專為物聯(lián)網(wǎng)打造的Armv9邊緣AI計算平臺的推出,標志著這一發(fā)展趨勢邁入了重要的里程碑。”
據(jù)介紹,Arm此次發(fā)布的計算平臺集成了全新的超高能效Armv9CPU——Cortex-A320和支持Transformer算子網(wǎng)絡(luò)的Ethos-U85NPU,打造出全球首個專為物聯(lián)網(wǎng)優(yōu)化的Armv9邊緣AI計算平臺。相較于去年推出的基于Cortex-M85的平臺,新的邊緣AI計算平臺的機器學習(ML)性能提高了八倍。Arm表示,從授權(quán)該技術(shù)以構(gòu)建SoC芯片的合作伙伴,到構(gòu)建下一代設(shè)備的ODM和OEM廠商,該平臺受到了包括亞馬遜云科技(AWS)、西門子、瑞薩電子、研華科技和Eurotech在內(nèi)的多家業(yè)界合作伙伴的支持。
記者在現(xiàn)場了解到,該平臺能夠支持基于智能體的AI應用上運行經(jīng)過調(diào)優(yōu)的大語言模型(LLM)和小語言模型(SLM),從而開辟全新類別的邊緣應用場景。在未來的場景中,智能決策將更接近數(shù)據(jù)采集源頭,這不僅能顯著減少延遲,還能有效提升隱私保護水平。