當(dāng)前,隨著大模型小型化、低成本化的推動,以及端側(cè)算力的不斷提升,端側(cè)AI的加速普及,正在成為行業(yè)炙手可熱的話題。
6月18日至6月20日,在上海召開的MWCS世界移動通信大會上,紫光展銳正式推出UNISOC端側(cè)AI平臺化解決方案。在端側(cè)AI領(lǐng)域持續(xù)投入研究和創(chuàng)新,紫光展銳圍繞端側(cè)AI的深度布局正在徐徐展開。
兩大解決方案 讓端側(cè)AI更有“靈性”
簡要而言,紫光展銳的端側(cè)AI平臺化解決方案包括單芯片、異構(gòu)分布式兩大解決方案,針對不同的應(yīng)用場景,提供更高性能、更低功耗、安全可靠、靈活配置的多樣化芯片解決方案。
紫光展銳的單芯片AI解決方案依托于成熟的5G SoC T9100,T9100采用先進的6nn EUV制程工藝,CPU使用的是“1+3+4”(1XA76@2.7GHZ +3XA76@2.3GHZ +4XA55@2.1GHZ)的8核架構(gòu),Mali-G57 MC4 GPU,支持5G全?;鶐А?K視頻錄制、1.08億像素拍照等功能,定位中高端市場。
在AI方面,T9100內(nèi)置8TOPS算力NPU模塊,支持主流AI模型,如圖像分類、語義分割、目標檢測等。此外,通過視覺信息處理器(VDSP),不僅能針對圖像和AI處理任務(wù)加速運算,為性能加速,同時會顯著降低終端的功耗。
由于紫光展銳的單芯片AI解決方案采用多核異構(gòu)系統(tǒng)架構(gòu),軟硬件協(xié)同、指令級優(yōu)化與DVFS效能控制,帶來高性能、低功耗表現(xiàn)。
在一些如手機AI攝影、語音助手等典型場景下,展銳單芯片AI解決方案可實現(xiàn)大模型生成速度較上一代NPU/CPU異構(gòu)方案提升20%+、大模型推理功耗降低60%。
解決復(fù)雜的Camera視覺和AI處理任務(wù)。不僅針對AI應(yīng)用,在HDR、實時美顏、語義分割等應(yīng)用上,性能上有更好地提升。
隨著終端AI的廣泛普及,場景多樣化,算力需求碎片化以及對于性能和能耗的平衡,使得對于芯片設(shè)計的靈活性的需求大大增加。
紫光展銳的異構(gòu)分布式AI解決方案通過多芯片協(xié)同架構(gòu),支持1T至100T的靈活算力配置,適配30余種不同參數(shù)規(guī)模的模型,并可同時處理多種行業(yè)主流大語言模型的實時運算需求,全面覆蓋從邊緣計算到云端部署的多樣化算力場景。
此外,通過內(nèi)存獨享,實現(xiàn)靈活的帶寬擴展,通過分布式集成架構(gòu)實現(xiàn)即插即用,具備更高的靈活性與開放性,從而能夠快速適應(yīng)當(dāng)前快速迭代的AI技術(shù),支持海量差異化的場景應(yīng)用,也兼具成本優(yōu)勢。
在MWCS紫光展銳展區(qū),筆者看到了搭載該方案的智能終端演示了圖像識別模型和大語言模型,以及端側(cè)語音聊天、AI助手等功能。據(jù)紫光展銳方面介紹,該方案通過軟硬件協(xié)同優(yōu)化,使AI運算能耗較傳統(tǒng)方案下降55%,存儲占用減少30%。
據(jù)了解,紫光展銳端側(cè)AI平臺,可支持大模型、多模態(tài)、多并發(fā)、AI Agent、端云結(jié)合的多重解決方案,實現(xiàn)AI 繪圖、AI語音聊天、AI智能搜圖、AI智能圖文問答、AI相機、AI翻譯等豐富功能。可與手機、平板、穿戴、汽車等多種創(chuàng)新終端靈活組合,相關(guān)產(chǎn)品已推向市場。
比如在AI智能終端方面,努比亞Neo 3 G、步步高AI學(xué)習(xí)機等均搭載了紫光展銳的T9100平臺。
賦能開發(fā)者 打造開放協(xié)作生態(tài)
除了硬件層面之外,開發(fā)工具、軟件生態(tài)的豐富和完善,對于端側(cè)AI的持續(xù)快速演進,以及對于AI應(yīng)用在端側(cè)的加速落地,也起到至關(guān)重要的作用。當(dāng)前,幾乎所有的芯片設(shè)計大廠,以及推出的端側(cè)AI解決方案,都在重點圍繞“軟硬一體”進行布局。
此次紫光展銳在推出端側(cè)AI解決方案的同時,也同步推出了支持全流程開發(fā)工具的自研AI SDK,實現(xiàn)多OS支持,可視化集成分析、一鍵安裝與插件化部署。此外,紫光展銳還推出了UNISOC 異構(gòu)計算開發(fā)平臺具備彈性集成與通用平臺特性,可提供多種解決方案,降低開發(fā)門檻提升開發(fā)效率,加速AI應(yīng)用落地。據(jù)了解,得益于開發(fā)工具和平臺的支持,能夠使AI應(yīng)用開發(fā)效率提升40%。
另外值得一提的是,紫光展銳的端側(cè)AI平臺化解決方案支持AI領(lǐng)域的“萬能接口”——MCP(模型協(xié)調(diào)協(xié)議)。
當(dāng)前AI技術(shù)面臨硬件接口類似的碎片化困境。不同廠商的模型格式、數(shù)據(jù)標準、硬件調(diào)用方式差異巨大,導(dǎo)致開發(fā)者需要為同一任務(wù)編寫多套代碼,也推高了企業(yè)部署AI的成本。
而MCP作為一種標準化接口協(xié)議,被稱為AI領(lǐng)域的USB-C,旨在實現(xiàn)端側(cè)AI設(shè)備與外部工具、數(shù)據(jù)源及云端服務(wù)的高效協(xié)同通信。其核心價值在于通過統(tǒng)一規(guī)范的協(xié)議層設(shè)計,打破不同AI模型、硬件平臺和應(yīng)用場景之間的技術(shù)壁壘,為開發(fā)者提供 “即插即用” 的集成能力。
通過支持MCP,紫光展銳的端側(cè)AI平臺化解決方案可實現(xiàn)一鍵部署,支持動態(tài)MCP配置、多協(xié)議兼容以及端云MCP,可穩(wěn)定調(diào)用外部工具,豐富的插件支持、廣泛的服務(wù)定制以及快速的應(yīng)用擴展。
可以看到,紫光展銳此次推出自研AISDK、UNN異構(gòu)計算開發(fā)平臺以及支持MCP,目標是圍繞端側(cè)AI構(gòu)建開發(fā)完整生態(tài),解決當(dāng)前AI技術(shù)落地面臨的算力碎片化、軟硬件適配難、開發(fā)效率低等核心問題,也有助于打造開放多元的協(xié)作生態(tài)。
結(jié)語
整體而言,此次紫光展銳在MWCS上發(fā)布的端側(cè)AI解決方案,通過“硬件架構(gòu)創(chuàng)新+開發(fā)工具鏈優(yōu)化+生態(tài)開放協(xié)同”三個層面,給出了大陸領(lǐng)先的芯片設(shè)計企業(yè)在端側(cè)AI領(lǐng)域的階段性思考和答案。
AI時代的到來,正推動傳統(tǒng)的通信芯片設(shè)計廠商從“連接”向“連接+計算”的方向轉(zhuǎn)型,其產(chǎn)品也從單純的硬件方案,向“軟件+硬件+算法”一體化的全棧AI解決方案拓展。
通過發(fā)揮芯片設(shè)計技術(shù)、無線通信技術(shù)以及軟硬件系統(tǒng)集成技術(shù)三大核心優(yōu)勢,紫光展銳與全球生態(tài)合作伙伴協(xié)同創(chuàng)新,為終端AI領(lǐng)域貢獻了自己“靈性”的答案。而靈性與智慧,或許是在當(dāng)前激烈的競爭環(huán)境下,芯片企業(yè)實現(xiàn)市場立足與技術(shù)突圍的關(guān)鍵。