近日，集成電路學(xué)院（信息與電子工程學(xué)院）媒體信息網(wǎng)絡(luò)研究所林巍峣教授團(tuán)隊(duì)與合作者，在無(wú)人機(jī)自主導(dǎo)航領(lǐng)域取得重要突破。團(tuán)隊(duì)提出并實(shí)現(xiàn)了一種基于可微分物理的端到端視覺(jué)控制策略，首次將可微分仿真訓(xùn)練的策略成功部署至真實(shí)無(wú)人機(jī)系統(tǒng)中，實(shí)現(xiàn)了單機(jī)最高20m/s的避障以及多機(jī)集群的復(fù)雜任務(wù)。相關(guān)研究成果以“Learning vision-based agile flight via differentiable physics”（通過(guò)可微分物理學(xué)習(xí)基于視覺(jué)的敏捷飛行）為題發(fā)表于Nature Machine Intelligence。

研究背景

近年來(lái)，空中機(jī)器人被廣泛應(yīng)用于搜索救援、電力巡檢和物資投遞等復(fù)雜動(dòng)態(tài)環(huán)境中，對(duì)飛行器的敏捷性和自主性提出了更高要求。傳統(tǒng)方法通常采用基于地圖的導(dǎo)航策略，將感知、規(guī)劃與控制模塊分離處理，雖取得一定成果，但其級(jí)聯(lián)結(jié)構(gòu)易導(dǎo)致誤差累積和系統(tǒng)延遲，難以滿足高速動(dòng)態(tài)場(chǎng)景及多機(jī)協(xié)作的需求。而基于學(xué)習(xí)的方法，如強(qiáng)化學(xué)習(xí)和模仿學(xué)習(xí)，在單機(jī)飛行中表現(xiàn)出色，但在多機(jī)系統(tǒng)中面臨訓(xùn)練成本高、專(zhuān)家策略設(shè)計(jì)困難等問(wèn)題，限制了其在群體智能中的應(yīng)用。因此，如何高效訓(xùn)練具備魯棒性與擴(kuò)展性的視覺(jué)驅(qū)動(dòng)多機(jī)協(xié)同策略，仍是亟待解決的關(guān)鍵問(wèn)題。

創(chuàng)新成果

針對(duì)這一問(wèn)題，團(tuán)隊(duì)提出了一種端到端的方法，通過(guò)可微分仿真將深度學(xué)習(xí)與基于第一性原理的物理建模相結(jié)合使用簡(jiǎn)化的質(zhì)點(diǎn)物理模型，通過(guò)在機(jī)器人仿真中反向傳播損失梯度，直接優(yōu)化神經(jīng)網(wǎng)絡(luò)控制策略。實(shí)驗(yàn)證明，在訓(xùn)練端，結(jié)合物理模型和數(shù)據(jù)驅(qū)動(dòng)的訓(xùn)練方法只需現(xiàn)有強(qiáng)化學(xué)習(xí)框架的10%的樣本即可實(shí)現(xiàn)相同的表現(xiàn)。在部署端，該方法在多智能體和單智能體任務(wù)中均表現(xiàn)出色。在多智能體場(chǎng)景中，系統(tǒng)展現(xiàn)出自組織行為，能夠在無(wú)需通信或集中規(guī)劃的情況下實(shí)現(xiàn)自主協(xié)同。在單智能體任務(wù)中，系統(tǒng)在未知復(fù)雜環(huán)境中的導(dǎo)航成功率高達(dá)90%，其魯棒性顯著優(yōu)于現(xiàn)有最先進(jìn)的解決方案。上述系統(tǒng)無(wú)需狀態(tài)估計(jì)模塊即可運(yùn)行，并能夠適應(yīng)動(dòng)態(tài)障礙物。在真實(shí)森林環(huán)境中，其導(dǎo)航速度最高可達(dá)20米/秒，是此前基于模仿學(xué)習(xí)方案的兩倍。值得注意的是，所有這些功能都部署在一個(gè)價(jià)格僅為150元低成本計(jì)算機(jī)上，其成本不到現(xiàn)有配備GPU系統(tǒng)的5%。

在單機(jī)場(chǎng)景中，將網(wǎng)絡(luò)模型部署在無(wú)人機(jī)上后在不同的真實(shí)環(huán)境中進(jìn)行測(cè)試，包括樹(shù)林、城市公園，以及含有靜態(tài)和動(dòng)態(tài)障礙的室內(nèi)場(chǎng)景。該網(wǎng)絡(luò)模型在未知復(fù)雜環(huán)境中的導(dǎo)航成功率高達(dá)90%，相比現(xiàn)有最優(yōu)方法展現(xiàn)出更強(qiáng)的魯棒性。

在真實(shí)樹(shù)林環(huán)境中，無(wú)人機(jī)飛行速度高達(dá)20米/秒，是基于模仿學(xué)習(xí)的現(xiàn)有方案速度的兩倍。所有測(cè)試環(huán)境均實(shí)現(xiàn)zero-shot零樣本遷移。該系統(tǒng)無(wú)需GPS或者VIO提供定位信息即可運(yùn)行，并能適應(yīng)動(dòng)態(tài)障礙物。

多機(jī)協(xié)同場(chǎng)景中，將網(wǎng)絡(luò)模型部署到6架無(wú)人機(jī)上執(zhí)行同向穿越復(fù)雜障礙和互換位置任務(wù)。該策略在同向穿越門(mén)洞、動(dòng)態(tài)障礙物和復(fù)雜靜態(tài)障礙物的場(chǎng)景中展示了極高的魯棒性。在多機(jī)穿越門(mén)洞互換位置的實(shí)驗(yàn)中，展現(xiàn)出了無(wú)需通信或集中規(guī)劃的自組織行為。

論文信息

本文第一作者為上海交通大學(xué)集成電路學(xué)院（信息與電子工程學(xué)院）碩士生張宇昂，共同第一作者為上海交大自動(dòng)化與感知學(xué)院胡喻和蘇黎世大學(xué)宋運(yùn)龍，通訊作者為上海交大集成電路學(xué)院（信息與電子工程學(xué)院）林巍峣教授和上海交大自動(dòng)化與感知學(xué)院鄒丹平教授。該工作得到了國(guó)家自然科學(xué)基金等項(xiàng)目的支持。媒體信息網(wǎng)絡(luò)研究所（MIN：https://min.sjtu.edu.cn/）致力于發(fā)展先進(jìn)的多媒體信號(hào)處理、多媒體通信與網(wǎng)絡(luò)、智能視覺(jué)與人工智能等技術(shù)，推動(dòng)寬帶化、數(shù)字化、智能化的電子信息系統(tǒng)跨越式發(fā)展，近年來(lái)在Nature Machine Intelligence、Science Advances、IEEE TPAMI等國(guó)際期刊上發(fā)表一系列高水平論文。論文鏈接：https://www.nature.com/articles/s42256-025-01048-0期刊信息《自然·機(jī)器智能》（Nature Machine Intelligence ）是Nature系列旗下人工智能領(lǐng)域的頂級(jí)子刊，旨在發(fā)表機(jī)器學(xué)習(xí)、機(jī)器人技術(shù)和人工智能等多個(gè)領(lǐng)域的高質(zhì)量原創(chuàng)研究和綜述文章。該期刊五年影響因子為31.8。