南方科技大學(xué)深港微電子學(xué)院余浩教授研發(fā)團(tuán)隊(duì)在具身智能硬件領(lǐng)域取得多項(xiàng)突破性成果。南科大微電子學(xué)院是第一單位或通訊單位，該項(xiàng)目得到國(guó)家科技部重點(diǎn)研發(fā)計(jì)劃及深圳高層次人才團(tuán)隊(duì)項(xiàng)目支持。首先在芯片方向，團(tuán)隊(duì)成功流片驗(yàn)證了立方脈動(dòng)架構(gòu)，面向具身深度學(xué)習(xí)網(wǎng)絡(luò)，通過(guò)網(wǎng)絡(luò)搜索優(yōu)化，實(shí)現(xiàn)了最優(yōu)的能效比（29.12 TOPS/W）和面積比（7.94 TOPS/mm2）。同時(shí)在加速卡方向，團(tuán)隊(duì)研發(fā)的具有立方脈動(dòng)架構(gòu)端側(cè)大模型推理卡，成功實(shí)現(xiàn)了大語(yǔ)言模型（LLM）在邊端部署，達(dá)到了近80%帶寬利用率（75tps）。在系統(tǒng)應(yīng)用方向，團(tuán)隊(duì)將LLM加速卡實(shí)體化到邊緣側(cè)的下一代測(cè)序儀，實(shí)現(xiàn)了實(shí)時(shí)現(xiàn)場(chǎng)進(jìn)行智能基因診斷。

具身智能芯片

隨著大模型時(shí)代的到來(lái)，深度神經(jīng)網(wǎng)絡(luò)模型的算力需求呈指數(shù)級(jí)增長(zhǎng)，但傳統(tǒng)芯片架構(gòu)面臨能效與性能的雙重瓶頸。研究團(tuán)隊(duì)針對(duì)這一挑戰(zhàn)突破傳統(tǒng)AI芯片設(shè)計(jì)中“能效-面積-靈活性”三角矛盾，實(shí)現(xiàn)了三大技術(shù)創(chuàng)新：

動(dòng)態(tài)精度調(diào)控：打破固定精度限制，在能效與準(zhǔn)確率間實(shí)現(xiàn)動(dòng)態(tài)平衡；

結(jié)構(gòu)化稀疏編碼：通過(guò)對(duì)數(shù)尺度稀疏策略，在壓縮率提升30%的同時(shí)保持模型精度；

矢量脈動(dòng)陣列：創(chuàng)新的脈動(dòng)架構(gòu)將內(nèi)存帶寬利用率提升至92%，顯著降低數(shù)據(jù)搬運(yùn)能耗。

圖1：混合精度加速器芯片及混合稀疏加速器芯片圖

該成果發(fā)表在集成電路設(shè)計(jì)領(lǐng)域頂級(jí)期刊IEEE Journal of Solid-State Circuits

IEEE: Journal of Solid-State Circuits (JSSC)

DOI：10.1109JSSC.2025.3558287

具身智能加速卡

研發(fā)團(tuán)隊(duì)進(jìn)一步攻克大語(yǔ)言模型（LLM）在資源受限邊緣設(shè)備上的部署，利用已驗(yàn)證的混合精度計(jì)算單元以及立方脈動(dòng)陣列架構(gòu)，成功部署了多個(gè)7B LLM語(yǔ)言模型及多模態(tài)模型。與GPU相比，該系統(tǒng)的吞吐量提高了1.91倍，能效提高了7.55倍；與最先進(jìn)的FPGA加速器FlightLLM相比，整體性能提升了10%到24%。

圖2 具有混合精度及稀疏的立方脈動(dòng)架構(gòu)芯片的性能比較

圖3 端側(cè)大模型推理卡

圖4 不同端側(cè)大模型推理卡對(duì)比

該成果發(fā)表在電路與系統(tǒng)領(lǐng)域頂級(jí)期刊IEEE Transactions on Circuits and Systems I: Regular Papers。

IEEE：https://ieee-cas.org/publication/TCAS-I

DOI：10.1109/TCSI.2025.3546256

具身智能系統(tǒng)應(yīng)用落地

作為端側(cè)大模型推理卡應(yīng)用，團(tuán)隊(duì)和上海芯像生物科技有限公司合作研發(fā)了LLM具身化的NGS測(cè)序儀-emGene，優(yōu)化后的大語(yǔ)言模型得以在端側(cè)大模型推理卡上高效部署，使診斷流程大幅提速，從而實(shí)現(xiàn)實(shí)時(shí)、現(xiàn)場(chǎng)DNA分析，在醫(yī)療領(lǐng)域?qū)崿F(xiàn)實(shí)時(shí)、現(xiàn)場(chǎng)基因智能診斷的實(shí)際應(yīng)用。

圖5 emGene大語(yǔ)言模型（LLM）邊緣NGS測(cè)序儀

該成果發(fā)表在電路與系統(tǒng)領(lǐng)域頂級(jí)期刊IEEE Integrated Circuits and Systems。