近日，南方科技大學(xué)深港微電子學(xué)院王中銳博士團(tuán)隊與中科院微電子所集成電路制造技術(shù)全國重點(diǎn)實驗室尚大山研究員合作，通過軟硬件協(xié)同設(shè)計，開發(fā)了基于隨機(jī)阻變存儲器的深度極限點(diǎn)云學(xué)習(xí)機(jī)系統(tǒng)。成果近期發(fā)表在《自然-通訊》期刊上（Nature Communications, DOI: https://doi.org/10.1038/s41467-025-56079-3）。南方科技大學(xué)王中銳博士和中科院微電子所尚大山研究員為該文章的通訊作者。參與本工作的還有復(fù)旦大學(xué)，浙江大學(xué)，以及香港大學(xué)等合作單位。

當(dāng)前的邊緣智能硬件系統(tǒng)正越來越多地將各種不同類型的視覺傳感器集成于一體（包括3D激光雷達(dá)、神經(jīng)形態(tài)動態(tài)視覺傳感器（DVS）以及傳統(tǒng)相機(jī)），以提升系統(tǒng)性能。而直接在邊緣智能系統(tǒng)上對不同傳感器輸出的多模態(tài)數(shù)據(jù)進(jìn)行分析，對于各種新型應(yīng)用如增強(qiáng)現(xiàn)實/虛擬現(xiàn)實（AR/VR）、無人機(jī)等都很重要，這一需求對軟硬件系統(tǒng)的多個方面都提出了挑戰(zhàn)。比如，系統(tǒng)需要考慮如何對多模態(tài)數(shù)據(jù)進(jìn)行統(tǒng)一的數(shù)據(jù)表征，較高的硬件能效，以及快速的模型訓(xùn)練。然而，多模態(tài)信號在數(shù)據(jù)結(jié)構(gòu)上的異構(gòu)性導(dǎo)致邊緣系統(tǒng)的開發(fā)有較高復(fù)雜性。此外，傳統(tǒng)數(shù)字硬件的性能受限于物理分離的存儲與計算單元（即馮·諾依曼瓶頸）以及晶體管尺寸縮放的物理極限（摩爾定律放緩）。隨著模型規(guī)模的持續(xù)擴(kuò)大，其復(fù)雜的訓(xùn)練過程進(jìn)一步加劇了上述限制。

本研究提出一種新穎的軟硬件協(xié)同設(shè)計系統(tǒng)——基于隨機(jī)電阻存儲器的深度極限點(diǎn)云學(xué)習(xí)機(jī)（DEPLM），可支持高效統(tǒng)一的點(diǎn)集分析。從數(shù)據(jù)層面，將多模態(tài)數(shù)據(jù)統(tǒng)一表示為點(diǎn)集，從而實現(xiàn)通用化處理；從軟件層面，團(tuán)隊首次提出深度極限點(diǎn)云學(xué)習(xí)機(jī)，大部分權(quán)重?zé)o需訓(xùn)練，大幅降低了訓(xùn)練復(fù)雜度；從硬件層面，納米級阻變存儲器不僅實現(xiàn)了存儲與計算的一體化，緩解了馮·諾依曼瓶頸與摩爾定律放緩問題，還利用其固有的編程隨機(jī)性生成DEPLM的隨機(jī)稀疏權(quán)重，從而抑制了讀取噪聲的影響。我們在多種數(shù)據(jù)類型和兩類學(xué)習(xí)任務(wù)中驗證了該系統(tǒng)的普適性。與傳統(tǒng)數(shù)字硬件系統(tǒng)相比，我們的協(xié)同設(shè)計系統(tǒng)實現(xiàn)了最高達(dá)15.79倍的能效提升，同時訓(xùn)練成本較傳統(tǒng)系統(tǒng)最多可降低89.46%。這種基于隨機(jī)阻變存儲器的深度極限點(diǎn)云學(xué)習(xí)機(jī)，有望為跨模態(tài)、跨任務(wù)的高能效、易訓(xùn)練邊緣人工智能開辟新路徑。該項目得到了科技部、國家自然科學(xué)基金委、南方科技大學(xué)、中科院和香港研究資助局的支持。