據(jù)中科院微電子所公眾號報道,該所微電子器件與集成技術(shù)重點實驗室尚大山研究員與香港大學(xué)、清華大學(xué)研究人員合作,基于憶阻器存算一體芯片,研制了一款連續(xù)學(xué)習(xí)原型系統(tǒng),該系統(tǒng)針對多任務(wù)連續(xù)學(xué)習(xí)場景,解決了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型處理時會遺忘已經(jīng)學(xué)到的知識,導(dǎo)致在執(zhí)行先前任務(wù)時性能大幅下降的問題。
根據(jù)報道,研究團隊展開軟硬件協(xié)同設(shè)計,軟件方面開發(fā)了基于突觸元可塑性的混合精度連續(xù)學(xué)習(xí)模型(MPCL),采用非對稱權(quán)重更新策略,平衡權(quán)重的可塑性與穩(wěn)定性,有效緩解災(zāi)難性遺忘;硬件方面,團隊將MPCL模型部署在由憶阻器存算一體芯片和傳統(tǒng)架構(gòu)處理器組成的混合模擬數(shù)字硬件系統(tǒng)上。
經(jīng)測試,該系統(tǒng)在兩個主流數(shù)據(jù)集上實現(xiàn)五個任務(wù)連續(xù)學(xué)習(xí)94.9%和95.3%的平均準(zhǔn)確率,相較于傳統(tǒng)計算架構(gòu)系統(tǒng),運算能耗大幅降低。(校對/樂川)