隨著大模型開啟行業(yè)賦能進程，其在邊緣/側端的大規(guī)模部署便成為進一步發(fā)展的重中之重。然而，在邊緣/側端部署固然更加有利于大模型實現(xiàn)即時響應和隱私保護，同時也將面臨算力碎片化、能效問題、落地場景等方面的挑戰(zhàn)。對從業(yè)企業(yè)來說，這既是難點也是機遇。

行業(yè)應用需求帶動，大模型向邊緣側發(fā)展

當前，我國大模型產(chǎn)業(yè)正迎來飛速發(fā)展。統(tǒng)計顯示，截至3月底國內發(fā)布的大模型數(shù)量已經(jīng)達到117個。不過在發(fā)展過程中，與美國注重原創(chuàng)突破不同，中國的大模型企業(yè)更加強調應用落地。360集團創(chuàng)始人兼董事長周鴻祎在此前的演講中就表示，卷模型、卷算力、卷數(shù)據(jù)，將模型向著萬億參數(shù)發(fā)展的并非唯一選擇。人工智能大模型有著更多元化的發(fā)展路徑。面壁智能聯(lián)合創(chuàng)始人兼CEO 李大海也強調行業(yè)模型的重要性，現(xiàn)在已經(jīng)成為發(fā)展的重要趨勢之一。

想要更加有效地賦能千行百業(yè)，大模型以及相關算力就不能只在云端部署，邊緣與端側模型擁有云端所不具備的比較優(yōu)勢。首先是端側模型具有更強的可靠性。模型部署在終端可以實時、連續(xù)地與環(huán)境進行互動，云端模型卻很難保持這種連續(xù)性。其次是端側模型能夠更好地保證用戶隱私。這個問題已經(jīng)引起人們越來越高的重視，未來如果機器人廣泛進入家庭，隱私問題將變得更加嚴重。端側模型在保障數(shù)據(jù)隱私方面的優(yōu)勢更加明顯。

正是基于這樣的認識，目前已有部分邊緣計算企業(yè)率先圍繞邊緣AI展開場景實踐，成功將邊緣AI注入多個領域。比如在智能制造領域，英偉達Jetson邊緣計算平臺可以將AI推理計算能力帶入工業(yè)場景，通過使用GPU加速的AI視覺推理，解決流水線上的缺陷檢測、柔性制造等問題。英特爾的解決方案也在智能監(jiān)控、教育教學、智能醫(yī)療等領域得到應用，通過對各類邊緣設備的管理，助力各邊緣智能業(yè)務更加靈活、高效、精準。

邊緣與端側模型的發(fā)展也帶動了邊緣AI計算的成長，相關算力、芯片等產(chǎn)業(yè)鏈環(huán)節(jié)迎來一波規(guī)模性發(fā)展。愛芯元智創(chuàng)始人、董事長仇肖莘指出，大模型真正大規(guī)模落地需要云邊端三級緊密結合，邊緣側和端側結合的關鍵在于AI計算與感知。仇肖莘認為，智能芯片和多模態(tài)大模型已經(jīng)成為人工智能時代的“黃金組合”，當大模型的應用日益廣泛，更經(jīng)濟、更高效、更環(huán)保將會成為智能芯片的關鍵詞，而搭載AI處理器的高效推理芯片將是大模型落地更合理的選擇，這也是推進普惠AI的關鍵所在。STL Partners預測，到2030年，全球邊緣計算潛在市場規(guī)模將增長到4450億美元，行業(yè)復合年增長率高達48%。

多元化算力部署，應對碎片化挑戰(zhàn)

不過大模型在邊緣/端側的部署并不可能一蹴而就。由于邊緣設備的計算資源限制以及大模型本身對計算資源需求的多樣性，在邊緣部署首先就會面臨來自算力方面的挑戰(zhàn)。一方面，模型廠商需要對大模型進行壓縮、剪枝、量化等技術處理，以減小模型的大小和計算復雜度，使其適應邊緣/端側設備的性能要求；另一方如何對算力基礎設施進行部署也是一個重點。

英特爾中國區(qū)網(wǎng)絡與邊緣事業(yè)部首席技術官張宇強調，隨著人工智能賦能千行百業(yè)，不同應用對算力的需求不同，跨度非常大。高性能要求的需要算力集群承載，算力需求不強的一個或幾個設備就能夠承載。安謀科技產(chǎn)品總監(jiān)楊磊也表示，在終端部署這類AI大模型時，仍面臨成本、功耗及軟件生態(tài)等多重挑戰(zhàn)。

針對這樣的需求趨勢，近年來浪潮、聯(lián)想等算力基礎設施供應商都在圍繞“端-邊-云-網(wǎng)-智”打造算力布局。產(chǎn)品包括智能邊緣網(wǎng)關、邊緣服務器、工業(yè)控制器、嵌入式計算機等硬件設備，滿足不同行業(yè)的算力需求。在芯片端，CPU+GPU+NPU的集成化成為處理器發(fā)展的方向，應對更加復雜的AI算力。高通推出驍龍X Elite集成專用神經(jīng)處理單元，支持百億參數(shù)級模型。英特爾Meteor Lake處理器，將NPU與處理器內計算引擎的AI功能結合，提升PC運行AI功能的能效等。國產(chǎn)AI芯片方面，愛芯元智亦于日前發(fā)布了“愛芯通元AI處理器”，核心算子指令集和數(shù)據(jù)流微架構采用可編程數(shù)據(jù)流的微架構，可有效提高能效和算力密度，適用于邊緣計算、AI推理領域的發(fā)展。

邊緣側能效問題突出，?輕量化開發(fā)是關鍵

能效也是邊緣大模型發(fā)展中不得不考慮的一個關鍵問題。事實上，大模型要想在邊緣/端側有效部署，與云端相較，能效問題更加突出。英特爾公司高級副總裁兼網(wǎng)絡與邊緣事業(yè)部總經(jīng)理Sachin Katti在接受筆者采訪就表示，在討論算力時，除了優(yōu)化算力、軟件生態(tài)等之外，一個關鍵問題就是功耗，特別是當它在邊緣部署的時候。邊緣端部署設備能耗可能約為200W；云端部署的能耗可能在1k至2kW，而數(shù)據(jù)中心的單層機架能耗可能高達100kW。如果將整個數(shù)據(jù)中心的能耗累加起來，可能會達到50G至100GW的規(guī)模。

邊緣設備通常具有有限的計算能力和內存，?而大模型則需要大量的資源來實現(xiàn)高性能的推理。?因此，?如何在確保模型準確率和響應速度的同時，?優(yōu)化資源利用和降低能耗，?成為關鍵問題。針對這一趨勢，相關廠商紛紛推進?輕量化開發(fā)框架與加速庫，?如AMD發(fā)布的Ryzen AI模型部署引擎、英特爾的OpenVINO推理加速庫、?英偉達的TensorRT高性能推理加速庫等，?結合針對嵌入式與移動終端的輕量化開發(fā)框架（?如PyTorch Mobile、?TensorFlow Lite、?Paddle Lite等）?，可以促進人工智能在移動設備、?物聯(lián)網(wǎng)和其他邊緣計算場景中的廣泛應用。

此外，業(yè)界也開始廣泛采取?液冷技術作為一種服務器的降溫手段，逐漸被應用于數(shù)據(jù)中心和大模型部署當中。據(jù)了解，現(xiàn)有的液冷技術已經(jīng)能夠為100kW的機群降溫，未來有望擴展到300kW。

探尋AI應用，誰是未來“明星場景”？

隨著人們越來越強調大模型賦能行業(yè)應用，尋找適合的“明星場景”成為決定產(chǎn)業(yè)成敗的關鍵問題。目前，AI手機、AI PC與自動駕駛成為大模型最具前景的應用市場。

市場調查機構IDC的最新研究顯示，AI手機市場將在2024年達到2.342億部的出貨量，較2023年的5050萬臺出貨量增長363.6%，將占今年整體智能手機市場的19%。2028年，AI手機出貨量將在2028年達到9.12億部，復合年均增長率為78.4%。IDC全球季度手機追蹤研究總監(jiān)Anthony Scarsella表示，成本仍將是AI手機發(fā)布時的一個關鍵抑制因素，因為許多功能強大的芯片和NPU價格不菲，主要在超高端市場中銷售。然而，隨著時間的推移和競爭的加劇，我們相信，這些組件將進入中端市場和更實惠的機型之中。

AI PC的成熟速度比原先預期的速度更快，有望為全球PC產(chǎn)業(yè)帶來一次換機潮。根據(jù)Canalys的預測，2024-2028年全球AI PC滲透率將從19%提升至71%，出貨量將從0.51億臺提升至2.08億臺，年復合增長率達到42.11%。摩根士丹利預測，AI PC今年會占整體PC市場的2%，接下來明年市占增長至16%、2026年達28%、2027年達到48%，到2028年更沖上64% 。

大模型上車仍然進入初期階段，不過隨著智能化理念逐漸深入人心，汽車最終變?yōu)椤靶凶叩囊苿咏K端”已成多數(shù)人的共識，AI大模型在汽車上的應用也將“駛上快車道”。大模型上車的主要方向有兩個：一是進入座艙域，實現(xiàn)更加智能的人機交互；二是與自動駕駛系統(tǒng)相配合，進一步完善智能駕駛解決方案。邁馳智行科技有限公司CTO張弛表示，大模型加速了自動駕駛從高速公路向更加復雜的城區(qū)場景的過渡，也促進了端到端感知規(guī)控一體化的形成。愛芯元智聯(lián)合創(chuàng)始人、副總裁劉建偉介紹，愛芯元智在2022年預判了Transformer的爆發(fā)，并率先推出了搭載愛芯通元AI處理器的芯片。愛芯元智的智駕芯片，如M55H及M76H等，已搭載在當前熱銷的車型之上。