（文/陳炳欣） 全球眾多科技企業(yè)都在積極研究AI大模型，但從算力角度來看，人們的關(guān)注點(diǎn)多集中于云端，因?yàn)閰?shù)規(guī)模太大，要想實(shí)現(xiàn)AI大模型在邊緣側(cè)和終端側(cè)部署并不容易。如果大模型能夠在邊/端側(cè)進(jìn)行部署，將有力推動(dòng)智能應(yīng)用的普及和發(fā)展，為用戶和企業(yè)帶來更多價(jià)值。長(zhǎng)遠(yuǎn)來看，實(shí)現(xiàn)AI大模型在邊緣側(cè)和終端側(cè)部署也是未來的發(fā)展方向之一。

廠商加大對(duì)端側(cè)AI模型支持力度

相比于如火如荼的云端大模型，當(dāng)前終端側(cè)的表現(xiàn)顯得冷清很多。然而，從云端到終端是AI行業(yè)發(fā)展的必然趨勢(shì)，如何讓終端設(shè)備實(shí)現(xiàn)類ChatGPT功能，是未來AI企業(yè)都需要面對(duì)的問題，算力部署更是其中的基礎(chǔ)。

Arm 物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健在接受集微網(wǎng)采訪時(shí)表示，以 Open AI和ChatGPT為代表的大語言模型，甚至更廣泛的大模型時(shí)代，使AI成為所有人可見可觸的技術(shù)。對(duì)整個(gè)生產(chǎn)力都有很大的提高。在談到如何實(shí)現(xiàn)終端和邊緣側(cè)大模型部署時(shí)，馬健認(rèn)為，首先這要求設(shè)計(jì)者在模型方面做到稀疏化。也就是說在云端設(shè)計(jì)出一些比較大的模型，然后通過稀疏化的過程，使模型在邊緣側(cè)做到相對(duì)有效的部署。從芯片架構(gòu)來看，異構(gòu)計(jì)算將是未來發(fā)展的必然選擇。邊緣側(cè)設(shè)備集成的芯片從同構(gòu)CPU架構(gòu)發(fā)展到異構(gòu)，以及加速器架構(gòu)，能夠更好地支持大模型稀疏化后形成的小模型，使它們能在邊緣側(cè)和端側(cè)實(shí)現(xiàn)部署。

目前，谷歌、微軟、騰訊等廠商均開始在在邊緣側(cè)和端側(cè)有所布局，加速AI 技術(shù)與智能終端的融合。芯片方面，高通在MWC 2023 大會(huì)發(fā)布全球首個(gè)運(yùn)行在Android 手機(jī)上的Stable Diffusion終端側(cè)演示。Stable Diffusion 模型參數(shù)超過10 億，高通利用其AI 軟件棧對(duì)模型進(jìn)行量化、編譯和硬件加速優(yōu)化，使其成功在搭載第二代驍龍8 移動(dòng)平臺(tái)的手機(jī)上運(yùn)行。

Arm也于日前推出Arm智能視覺參考設(shè)計(jì)，推進(jìn)了AI大模型在終端與邊緣側(cè)的應(yīng)用。Arm 智能視覺參考設(shè)計(jì)不僅包括Arm Corstone-1000、Arm Corstone-300、Arm Mali-C55 圖像信號(hào)處理器，還集成了安謀科技開發(fā)的玲瓏VPU和周易NPU，并由安謀科技將 Arm IP 與安謀科技自研IP進(jìn)行集成和驗(yàn)證。

智能視覺作用日漸顯現(xiàn)

未來，隨著AI大模型從云端到終端延伸，智能視覺將發(fā)揮重要作用。對(duì)此，馬健指出，在模型和行動(dòng)無處不在的新時(shí)代，智能視覺將變得必不可少。因?yàn)闄C(jī)器系統(tǒng)必須通過視覺等感官理解周圍環(huán)境，做出相應(yīng)的決策和行動(dòng)，視覺信息為自動(dòng)駕駛和機(jī)器人提供了關(guān)鍵的安全和避障能力，這是生死攸關(guān)問題。視覺對(duì)于人機(jī)交互也是至關(guān)重要，未來的聊天機(jī)器人或者伴侶機(jī)器人不僅需要高智商，更需要高情商，而機(jī)器視覺可以通過捕捉人類的表情、手勢(shì)和動(dòng)作，從中理解人類的意圖和情感，改善 AI 與人類的溝通和合作。另外，模型優(yōu)化也可以借力智能視覺等感知技術(shù)，從現(xiàn)實(shí)生活中采集真實(shí)數(shù)據(jù)形成更準(zhǔn)確的模型，而不僅僅是依賴于文本描述和靜態(tài)圖像。

未來，智能視覺系統(tǒng)將呈現(xiàn)兩大技術(shù)趨勢(shì)。首先是云、邊、端的協(xié)同。由于視頻數(shù)據(jù)巨大的數(shù)據(jù)量以及諸如自動(dòng)駕駛等應(yīng)用對(duì)實(shí)時(shí)性要求非常高，這決定了智能視覺系統(tǒng)需要能夠?qū)⒂?jì)算和決策任務(wù)分布在云、邊和終端設(shè)備上，并實(shí)現(xiàn)協(xié)同工作。其次是AI的加持。未來的智能視覺系統(tǒng)將繼續(xù)依賴深度學(xué)習(xí)模型和神經(jīng)網(wǎng)絡(luò)，提高圖像的分析和識(shí)別能力，并利用強(qiáng)化學(xué)習(xí)和自主自適應(yīng)學(xué)習(xí)，使系統(tǒng)能夠從環(huán)境中不斷學(xué)習(xí)和改進(jìn)，并適應(yīng)新的場(chǎng)景和任務(wù)。

智能視覺芯片架構(gòu)在過去幾年中經(jīng)歷了一系列的演進(jìn)，從功能固定難以編程的DSP和ASK，到通用性強(qiáng)易編程的 CPU 架構(gòu)，到現(xiàn)在的綜合了CPU、ISP圖像處理器、NPU AI 加速器、VPU視頻編解碼器、GPU圖形處理器的異構(gòu) SoC 片上系統(tǒng)，已經(jīng)逐步實(shí)現(xiàn)低功耗、高性能和高度集成的特點(diǎn)。這些處理器也可適用于對(duì)功耗要求更高的邊緣設(shè)備，如智能手機(jī)、攝像頭、XR，機(jī)器人和物聯(lián)網(wǎng)設(shè)備等，為智能視覺成為一種普世的能力奠定基礎(chǔ)。 Arm 推出的全新智能視覺參考設(shè)計(jì)首次將 Arm 現(xiàn)有子系統(tǒng) IP 與第三方 IP整合，預(yù)集成和預(yù)驗(yàn)證的產(chǎn)品組合能協(xié)助邊緣 AI 領(lǐng)域公司的初創(chuàng)公司、跨界創(chuàng)新公司或者是希望進(jìn)行垂直整合的系統(tǒng)公司，加速 AI 與視覺應(yīng)用整合的實(shí)現(xiàn)。