近日，國(guó)際著名學(xué)術(shù)期刊《自然—通訊》刊登了南開(kāi)大學(xué)電子信息與光學(xué)工程學(xué)院最新研究成果。研究人員利用柔性人工突觸器件，開(kāi)發(fā)了一種神經(jīng)形態(tài)運(yùn)動(dòng)感知系統(tǒng)，在硬件層面成功實(shí)現(xiàn)了大腦的多感官整合功能，并獲得了卓越的運(yùn)動(dòng)感知性能。

南開(kāi)大學(xué)電子信息與光學(xué)工程學(xué)院蔣博士程鵬為第一作者，南開(kāi)大學(xué)電子信息與光學(xué)工程學(xué)院教授徐文濤為唯一通訊作者。

大腦的多感官整合（Multisensory Integration）是一個(gè)將不同模態(tài)感官信息進(jìn)行結(jié)合的過(guò)程，它對(duì)于許多生物完成決策、記憶和學(xué)習(xí)等任務(wù)至關(guān)重要。例如，大黃蜂可同時(shí)利用視覺(jué)和觸覺(jué)信息識(shí)別物體，星鼻鼴鼠在無(wú)光的地下環(huán)境中可使用觸覺(jué)-嗅覺(jué)協(xié)同感知的方式對(duì)周?chē)h(huán)境進(jìn)行探索。多感官整合機(jī)制依賴(lài)高度并行且異步觸發(fā)的神經(jīng)元和突觸網(wǎng)絡(luò)。

為了實(shí)現(xiàn)神經(jīng)元和突觸的基本功能，以人工突觸（Artificial Synapse）為代表的神經(jīng)形態(tài)器件獲得了廣泛關(guān)注與研究。然而，與大腦多感官整合機(jī)制相關(guān)的高級(jí)功能尚未在神經(jīng)形態(tài)器件和系統(tǒng)中得到開(kāi)發(fā)與驗(yàn)證。此外，如何從硬件層面在神經(jīng)形態(tài)器件中實(shí)現(xiàn)認(rèn)知智能與類(lèi)腦智能也是亟待解決的難題。

南開(kāi)團(tuán)隊(duì)設(shè)計(jì)的神經(jīng)形態(tài)運(yùn)動(dòng)感知系統(tǒng)，受啟發(fā)于獼猴的多感官整合與空間感知機(jī)制。獼猴的自主運(yùn)動(dòng)會(huì)在內(nèi)耳前庭和視網(wǎng)膜中激發(fā)慣性信號(hào)和光流信號(hào)等運(yùn)動(dòng)信息，大腦皮層的特定區(qū)域?qū)幋a為尖峰脈沖的運(yùn)動(dòng)信息進(jìn)行處理識(shí)別后，最終通過(guò)整合不同感官模態(tài)的信息實(shí)現(xiàn)空間感知。在神經(jīng)形態(tài)運(yùn)動(dòng)感知系統(tǒng)中，加速度計(jì)和陀螺儀分別獲取加速度和角速度信號(hào)，這兩種運(yùn)動(dòng)信號(hào)被編碼為兩個(gè)脈沖序列，隨后傳輸至高性能突觸晶體管進(jìn)行處理。兩個(gè)脈沖序列的相關(guān)性和時(shí)序關(guān)系影響器件的突觸可塑性，從而影響器件輸出。通過(guò)對(duì)脈沖平均發(fā)放率和突觸器件輸出電流進(jìn)行判定，實(shí)現(xiàn)運(yùn)動(dòng)信號(hào)的分類(lèi)識(shí)別。

a 哺乳動(dòng)物具有的視覺(jué)神經(jīng)/前庭神經(jīng)跨模態(tài)運(yùn)動(dòng)感官系統(tǒng)；b 基于柔性突觸晶體管的神經(jīng)形態(tài)運(yùn)動(dòng)感知系統(tǒng)  南開(kāi)大學(xué)供圖

通過(guò)光流傳感器、振動(dòng)觸覺(jué)傳感器、慣性傳感器構(gòu)建傳感單元，該系統(tǒng)可檢測(cè)視覺(jué)、觸覺(jué)、加速度覺(jué)多個(gè)模態(tài)的傳感信息。對(duì)來(lái)自不同類(lèi)型傳感器的信息進(jìn)行有效整合，可顯著提升運(yùn)動(dòng)識(shí)別的準(zhǔn)確率（高于94%），并且實(shí)驗(yàn)結(jié)果符合大腦的感知增強(qiáng)效應(yīng)。此外，得益于可穿戴、高集成、低功耗的特點(diǎn)，該系統(tǒng)可進(jìn)一步貼附于人體皮膚或裝載于小型無(wú)人機(jī)，完成人體動(dòng)作識(shí)別、無(wú)人機(jī)飛行模式識(shí)別等復(fù)雜任務(wù)。

據(jù)介紹，該系統(tǒng)模擬了哺乳動(dòng)物大腦中感官線索整合的過(guò)程，并結(jié)合傳感信號(hào)的脈沖編碼策略、突觸器件的脈沖整合特性、突觸電流信號(hào)的時(shí)空識(shí)別方法實(shí)現(xiàn)了類(lèi)腦水平的運(yùn)動(dòng)感知功能。該工作將神經(jīng)形態(tài)認(rèn)知智能與大腦多模態(tài)感知機(jī)制相結(jié)合，對(duì)于類(lèi)腦器件、仿生電子的開(kāi)發(fā)具有重要的指導(dǎo)意義，可潛在應(yīng)用于移動(dòng)機(jī)器人、智能可穿戴設(shè)備、人機(jī)交互等領(lǐng)域。