上海交通大學(xué)智能網(wǎng)聯(lián)電動(dòng)汽車創(chuàng)新中心團(tuán)隊(duì)在秦通、楊明老師指導(dǎo)下，于機(jī)器人領(lǐng)域頂級(jí)旗艦會(huì)議IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)上發(fā)表題為“Building Hybrid Omnidirectional Visual-Lidar Map for Visual-Only Localization”的研究論文。文章主要探討了利用視覺和激光傳感器構(gòu)建具有紋理和幾何信息的先驗(yàn)混合地圖，為純視覺機(jī)器人在困難環(huán)境下的定位導(dǎo)航提供了系統(tǒng)性解決方案。本文第一作者是溥淵未來技術(shù)學(xué)院訪問學(xué)生黃竟洋。

研究背景 

Research Background近年來，基于視覺的定位技術(shù)在機(jī)器人和自動(dòng)駕駛等領(lǐng)域發(fā)揮著重要作用。然而，傳統(tǒng)方法（如SLAM和SfM）存在深度估計(jì)不準(zhǔn)確、計(jì)算成本高、環(huán)境適應(yīng)性差等問題，尤其在紋理稀疏或動(dòng)態(tài)場(chǎng)景中，單目或雙目視覺的定位精度和魯棒性受限。雖然激光雷達(dá)（LiDAR）能提供精確的3D結(jié)構(gòu)信息，但純LiDAR定位依賴高精度傳感器，成本較高，且難以與視覺數(shù)據(jù)直接融合?，F(xiàn)有的跨模態(tài)定位方法主要依賴幾何對(duì)齊（如ICP）或深度學(xué)習(xí)，前者對(duì)點(diǎn)云質(zhì)量敏感，后者計(jì)算開銷大，難以在資源受限的平臺(tái)上（如無人機(jī)）實(shí)時(shí)運(yùn)行。因此，如何在低成本傳感器組合（如相機(jī)+IMU）下實(shí)現(xiàn)高效、高精度的跨模態(tài)定位，仍是一個(gè)關(guān)鍵挑戰(zhàn)。

研究成果

 Research Results為了綜合解決上述問題，本文提出一種混合視覺—LiDAR關(guān)鍵幀建圖與純視覺重定位框架，適用于計(jì)算資源受限的無人機(jī)。在建圖階段，系統(tǒng)融合四目相機(jī)圖像與LiDAR數(shù)據(jù)，構(gòu)建全向關(guān)鍵幀地圖，精確關(guān)聯(lián)圖像特征與LiDAR點(diǎn)云深度，解決了傳統(tǒng)視覺建圖的尺度模糊和深度誤差問題。在重定位階段，系統(tǒng)先基于視覺特征檢索相似關(guān)鍵幀，建立2D—2D匹配，再通過關(guān)鍵幀關(guān)聯(lián)的3D點(diǎn)云實(shí)現(xiàn)2D—3D對(duì)應(yīng)，最終結(jié)合PnP-RANSAC和位姿圖優(yōu)化計(jì)算精確位姿。

在線建圖/定位算法框架圖

該框架的創(chuàng)新點(diǎn)如下：

1）全向關(guān)鍵幀設(shè)計(jì)：利用多相機(jī)系統(tǒng)生成360°關(guān)鍵幀，支持任意視角的快速重定位，提升環(huán)境適應(yīng)性。

2）輕量化跨模態(tài)融合：以關(guān)鍵幀為橋梁，高效關(guān)聯(lián)視覺與LiDAR數(shù)據(jù)，避免傳統(tǒng)ICP的高計(jì)算成本。

3）實(shí)時(shí)性優(yōu)化：算法可在嵌入式設(shè)備上實(shí)時(shí)運(yùn)行，適用于無人機(jī)自主導(dǎo)航。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)在復(fù)雜環(huán)境中的定位精度接近LiDAR，且計(jì)算效率滿足實(shí)時(shí)性需求。

多方向節(jié)點(diǎn)位姿圖優(yōu)化示意圖

點(diǎn)云—像素關(guān)聯(lián)方法