亚洲五月天一区二区三区-日本午夜福利视频在线-日本欧美一区二区不卡免费-日韩深夜视频在线观看

華中科技大學(xué)集成電路學(xué)院與清華大學(xué)集成電路學(xué)院合作研發(fā)基于憶阻器的浮點(diǎn)精度神經(jīng)網(wǎng)絡(luò)求解系統(tǒng)

來源:HUST集成電路學(xué)院 #華中科技大學(xué)# #清華#
1872

6月20日,華中科技大學(xué)集成電路學(xué)院繆向水、李祎教授團(tuán)隊(duì)與清華大學(xué)集成電路學(xué)院錢鶴、吳華強(qiáng)教授團(tuán)隊(duì)于Science Advances(《科學(xué)進(jìn)展》)合作發(fā)表了憶阻存算一體技術(shù)的最新研究成果“Memristive floating-point Fourier neural operator network for efficient scientific modeling”。該論文報(bào)道了國際上首個(gè)基于憶阻器的浮點(diǎn)精度神經(jīng)網(wǎng)絡(luò)求解系統(tǒng),實(shí)現(xiàn)了高精度、高能效、低延時(shí)的智能科學(xué)計(jì)算。

科學(xué)計(jì)算建模是現(xiàn)代科學(xué)研究與工程設(shè)計(jì)中的重要基礎(chǔ)問題。隨著傳統(tǒng)數(shù)值求解器在復(fù)雜建模問題中(如非線性微分方程模型)的求解延時(shí)難以滿足需求,以傅里葉神經(jīng)算子(Fourier Neural Operator,F(xiàn)NO)為代表神經(jīng)網(wǎng)絡(luò)求解器開始受到廣泛關(guān)注。神經(jīng)網(wǎng)絡(luò)求解器的訓(xùn)練與部署依賴高能效、大算力的先進(jìn)計(jì)算平臺?;趹涀杵鞯拇嫠阋惑w芯片與系統(tǒng)為突破馮·諾依曼瓶頸,實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的高效訓(xùn)推提供了一種有潛力的解決方案。然而,與分類、識別等端側(cè)神經(jīng)網(wǎng)絡(luò)應(yīng)用不同的是,F(xiàn)NO等神經(jīng)網(wǎng)絡(luò)求解器的訓(xùn)推通常需要單浮點(diǎn)計(jì)算(FP32)精度以滿足求解需求。憶阻陣列的模擬計(jì)算精度限制、器件實(shí)現(xiàn)高精度“寫-驗(yàn)證”編程的時(shí)間與功耗開銷等因素進(jìn)而成為制約實(shí)現(xiàn)浮點(diǎn)精度神經(jīng)網(wǎng)絡(luò)求解器訓(xùn)推的關(guān)鍵瓶頸。

針對上述問題,我校研究團(tuán)隊(duì)在前期憶阻高精度科學(xué)計(jì)算系統(tǒng)(Sci. Adv. 2023, Sci. Adv 2025, IEDM 2024)研究基礎(chǔ)上,與清華大學(xué)團(tuán)隊(duì)合作構(gòu)建了一套基于憶阻器的浮點(diǎn)精度神經(jīng)網(wǎng)絡(luò)求解系統(tǒng),實(shí)現(xiàn)了FNO網(wǎng)絡(luò)的高精度訓(xùn)練與高效推理。合作團(tuán)隊(duì)對算法、系統(tǒng)與電路進(jìn)行全層次協(xié)同優(yōu)化設(shè)計(jì):電路層面,提出了混合二值憶阻單元與多值憶阻單元的浮點(diǎn)矩陣乘法電路,通過調(diào)控浮點(diǎn)數(shù)據(jù)的片上映射構(gòu)成,滿足不同求解任務(wù)的能效與精度需求;系統(tǒng)層面,構(gòu)建了“通用數(shù)字處理單元-專用數(shù)字處理單元-憶阻存算一體單元”的超異構(gòu)計(jì)算系統(tǒng),在訓(xùn)練階段啟用通用數(shù)字處理單元配合憶阻器芯片實(shí)現(xiàn)高精度訓(xùn)練,在推理階段則啟用專用數(shù)字處理單元實(shí)現(xiàn)高能效推理;算法層面,利用FNO網(wǎng)絡(luò)“動態(tài)權(quán)重+固定權(quán)重”的構(gòu)成特性,在訓(xùn)練中進(jìn)行靈活部署,提高訓(xùn)練準(zhǔn)確率的同時(shí),降低系統(tǒng)功耗開銷。

圖1. FNO網(wǎng)絡(luò)與憶阻存算一體硬件系統(tǒng)

合作研究團(tuán)隊(duì)在180 nm憶阻器芯片測試系統(tǒng)(集成了8塊4 Kb憶阻器芯片)上完成了1-D和3-D FNO網(wǎng)絡(luò)的訓(xùn)練與部署實(shí)測(圖1)。針對基于1-D網(wǎng)絡(luò)的Burger’s方程求解任務(wù),憶阻計(jì)算系統(tǒng)實(shí)現(xiàn)了99.6%的求解準(zhǔn)確率,相對FP32精度的數(shù)字計(jì)算系統(tǒng),精度損失僅0.2%,推理能效提升約116倍。針對基于3-D FNO網(wǎng)絡(luò)的三維熱傳導(dǎo)問題求解任務(wù),異構(gòu)訓(xùn)練方法相對全精度數(shù)字計(jì)算在節(jié)約22%的訓(xùn)練時(shí)間的同時(shí),訓(xùn)練精度損失僅為7.3×10-4,相較全憶阻原位訓(xùn)練則可將訓(xùn)練延時(shí)與功耗開銷降低至1/4(圖2)。研究成果驗(yàn)證了憶阻存算一體技術(shù)在高精度神經(jīng)網(wǎng)絡(luò)求解器中的應(yīng)用潛力,為推動發(fā)展面向AI-for-Science領(lǐng)域的非馮計(jì)算系統(tǒng)提供了重要基礎(chǔ)。

圖2. 基于憶阻智能計(jì)算系統(tǒng)的FNO訓(xùn)練,

實(shí)現(xiàn)Burger’s 方程及3D熱導(dǎo)問題的高精度高能效求解

我校集成電路學(xué)院李祎教授和清華大學(xué)集成電路學(xué)院高濱教授為論文的共同通訊作者。華中科技大學(xué)集成電路學(xué)院博士畢業(yè)生李健聰(現(xiàn)于香港科技大學(xué)從事博士后研究)、博士生田婧和清華大學(xué)集成電路學(xué)院博士后林鈺登為論文共同第一作者,香港智能晶片與系統(tǒng)研發(fā)中心陳佳博士、華中科技大學(xué)集成電路學(xué)院何毓輝教授等人參與了本工作。

該工作得到了科技創(chuàng)新2030“腦科學(xué)與類腦研究”重大研究計(jì)劃、科技部國家重點(diǎn)研發(fā)計(jì)劃、湖北省杰出青年基金、華中科技大學(xué)基礎(chǔ)研究支持計(jì)劃等項(xiàng)目的資助,以及華中科技大學(xué)國家集成電路產(chǎn)教融合平臺、北京未來芯片技術(shù)高精尖創(chuàng)新中心的支持。

責(zé)編: 集小微
來源:HUST集成電路學(xué)院 #華中科技大學(xué)# #清華#
THE END
關(guān)閉
加載

PDF 加載中...