隨著高性能神經(jīng)網(wǎng)絡(luò)需求的日益增長,神經(jīng)-符號人工智能因其高度的可解釋性和適應(yīng)性,正吸引著越來越多的關(guān)注。它可以通過符號知識增強(qiáng)深度學(xué)習(xí)的推理和泛化,表現(xiàn)出優(yōu)于深度學(xué)習(xí)的能力。但由于符號知識表示與計算的復(fù)雜性,設(shè)計并實現(xiàn)高效的神經(jīng)-符號硬件仍面臨算力、能效等諸多挑戰(zhàn)。
近日,微電子所集成電路制造技術(shù)重點實驗室劉明院士團(tuán)隊提出了一種基于記憶交叉陣列的符號知識表示解決方案,首次實驗演示并驗證了憶阻神經(jīng)-模糊硬件系統(tǒng)在無監(jiān)督、有監(jiān)督和遷移學(xué)習(xí)任務(wù)中的應(yīng)用,為實現(xiàn)其他基于知識的技術(shù)提供了指導(dǎo)。團(tuán)隊將模糊邏輯和規(guī)則形式的符號知識直接用記憶交叉陣列的拓?fù)浣Y(jié)構(gòu)表示,利用憶阻器件本征隨機(jī)性增強(qiáng)了知識表示的魯棒性,提高了系統(tǒng)的推理性能。為解決硬件原位訓(xùn)練收斂速度慢、效果差的問題,團(tuán)隊首次提出了一種軟硬件協(xié)同優(yōu)化框架下的混合原位訓(xùn)練技術(shù),有效降低了計算過程中的累積誤差問題。研發(fā)的憶阻神經(jīng)-模糊計算硬件能效超過FPGA兩個數(shù)量級以上,能耗僅為ASIC的約百分之一。以機(jī)器人導(dǎo)航為例,該神經(jīng)-模糊硬件顯示出對未知環(huán)境的優(yōu)越適應(yīng)性,與深度學(xué)習(xí)方法相比,系統(tǒng)學(xué)習(xí)速度提高了約6.6倍,學(xué)習(xí)錯誤率降低了約6倍。該工作充分展示了憶阻神經(jīng)形態(tài)計算系統(tǒng)在人工智能領(lǐng)域應(yīng)用中的巨大潛力。
該工作得到了國家重點研發(fā)計劃、國家自然科學(xué)基金委、中國科學(xué)院戰(zhàn)略先導(dǎo)B類專項等項目支持。研究成果以“Stochastic neuro-fuzzy system implemented in memristor crossbar arrays”為題在Science Advances(《科學(xué)·進(jìn)展》)期刊在線發(fā)表。微電子所時拓副研究員為文章第一作者,河北大學(xué)閆小兵教授、復(fù)旦大學(xué)劉琦教授為共同通訊作者。
圖:(A)模糊推理系統(tǒng)和所提出的神經(jīng)-模糊系統(tǒng)的示意圖
(B)隸屬度函數(shù)的隱式實現(xiàn)方式
(C)隸屬度函數(shù)的顯式實現(xiàn)方式
(D)通過稀疏連接實現(xiàn)模糊規(guī)則的antecedent
(E)基于憶阻交叉陣列的去模糊化硬件實現(xiàn)方法
(F)基于憶阻硬件系統(tǒng)的實時機(jī)器人導(dǎo)航實驗
(G)機(jī)器人運動軌跡可視化的實時地圖
(H)神經(jīng)-模糊硬件在原位訓(xùn)練中角速度的收斂速度和測試誤差率
(I)線速度的收斂速度和測試誤差率
