清華新聞網(wǎng)6月18日電 三維視覺對(duì)于機(jī)器和人工智能對(duì)世界的感知與交互十分關(guān)鍵。主流三維成像技術(shù)路線，包括結(jié)構(gòu)光、飛行時(shí)間法和雙/多目立體視覺，盡管近年來進(jìn)展顯著，但仍普遍具有遠(yuǎn)超二維相機(jī)的體積、成本、功耗以及有限的三維點(diǎn)云分辨率。近年來受到廣泛關(guān)注的單目三維視覺雖可以部分解決上述問題，但仍具有易在弱紋理場(chǎng)景失效、難以重建復(fù)雜三維面型等問題。此外，現(xiàn)有的三維成像方案還具有共性的易失效場(chǎng)景，包括近乎透明、高度鏡面反射等場(chǎng)景。

針對(duì)以上難題，清華大學(xué)精密儀器系楊原牧副教授課題組提出了一種新型拓展單目三維（Extended Monocular 3D,EM3D）成像框架，該框架使用配備易于量產(chǎn)的折衍混合透鏡及商用分焦面偏振CMOS的緊湊單目相機(jī)，可以快照式地同時(shí)獲取衍射和偏振兩種深度線索，結(jié)合多階段融合兩種深度線索的計(jì)算成像算法，實(shí)驗(yàn)實(shí)現(xiàn)了對(duì)傳統(tǒng)挑戰(zhàn)性場(chǎng)景（包括弱紋理、高復(fù)雜度、高反射或近乎透明的場(chǎng)景）的百萬像素級(jí)精確三維點(diǎn)云快照式采集，且無需先驗(yàn)數(shù)據(jù)。此外，通過深度與偏振信息的結(jié)合可以通過材料屬性實(shí)現(xiàn)進(jìn)一步的物體辨識(shí)，這可能進(jìn)一步擴(kuò)展機(jī)器視覺在目標(biāo)識(shí)別、活體檢測(cè)等應(yīng)用中的能力。

北京時(shí)間6月13日，相關(guān)研究成果以“基于衍射與偏振深度線索融合的拓展場(chǎng)景單目三維成像”（Extended monocular 3D imaging via the fusion of diffraction- and polarization-based depth cues）為題，發(fā)表于《光學(xué)》（Optica）。

圖1.基于衍射與偏振深度線索融合拓展單目三維成像系統(tǒng)框架

EM3D的系統(tǒng)框架如圖1所示?；谘苌洌c(diǎn)擴(kuò)散函數(shù)工程）的深度線索的優(yōu)點(diǎn)為具備較高精度絕對(duì)深度，無需主動(dòng)激光照明；缺點(diǎn)為依賴物體紋理計(jì)算深度，難以重建三維形貌細(xì)節(jié)?；谄裎矬w法線測(cè)量的深度線索優(yōu)點(diǎn)為不需要物體紋理，可獲取三維形貌的細(xì)節(jié)信息；缺點(diǎn)為其獲取的物體表面法線方向存在歧義和材料誤差，且無法獲取絕對(duì)深度信息。兩種深度線索的優(yōu)缺點(diǎn)具有高度互補(bǔ)性。EM3D框架中的單目相機(jī)配備了點(diǎn)擴(kuò)散函數(shù)調(diào)制衍射光學(xué)元件（DOE）與分焦面偏振CMOS，可以快照式同時(shí)獲取兩種深度線索，從而可以在后續(xù)算法中結(jié)合兩種深度線索的優(yōu)點(diǎn)。

圖2.傳統(tǒng)易失效場(chǎng)景的三維成像實(shí)驗(yàn)結(jié)果（a）弱紋理紙箱（b）高度反光金屬罐（c）近乎透明玻璃燒杯（d）復(fù)雜面型活體人臉（e） 多個(gè)復(fù)雜物體

EM3D系統(tǒng)對(duì)多種傳統(tǒng)易失效場(chǎng)景的三維成像結(jié)果圖2所示。這些場(chǎng)景包括弱紋理的紙箱、高度反光的金屬罐、近乎透明的玻璃燒杯、具備復(fù)雜面型的活體人臉以及多個(gè)復(fù)雜物體。結(jié)果顯示單一基于衍射或偏振深度線索獲取的三維結(jié)果是不準(zhǔn)確而粗糙的，而EM3D系統(tǒng)融合獲得了精細(xì)的（百萬像素）三維點(diǎn)云，所有場(chǎng)景的絕對(duì)深度誤差均在0.2%以內(nèi)。

圖3.基于材料特性實(shí)現(xiàn)物體辨識(shí)實(shí)驗(yàn)結(jié)果（a）場(chǎng)景示意圖（b）-（c）傳統(tǒng)成像系統(tǒng)成像結(jié)果（d）-（f）EM3D系統(tǒng)成像結(jié)果

除獲取高質(zhì)量三維點(diǎn)云之外，EM3D系統(tǒng)還具備超出傳統(tǒng)二維或偏振成像系統(tǒng)的物體辨識(shí)能力。如圖3所示，當(dāng)機(jī)器人需要從桌上的三個(gè)不同材料的物體中抓取其中一個(gè)時(shí)，使用傳統(tǒng)的彩色成像、近紅外成像或偏振成像均難以分辨三個(gè)物體；而ED3D系統(tǒng)不僅可以提供準(zhǔn)確的三維點(diǎn)云以幫助空間定位，還能通過偏振與三維信息結(jié)合獲得的材料參數(shù)清晰辨識(shí)不同材料的物體。這一集成于單目相機(jī)中的多模態(tài)成像功能有望顯著拓展空間受限機(jī)器視覺系統(tǒng)的能力。

該相機(jī)采用可大規(guī)模生產(chǎn)的DOE結(jié)合單個(gè)折射透鏡進(jìn)行成像，通過多片衍射折射混合透鏡優(yōu)化，可以進(jìn)一步提高圖像質(zhì)量。通過增加成像透鏡的孔徑，深度測(cè)量范圍可以擴(kuò)展至百米。通過標(biāo)準(zhǔn)鏡頭模組工藝或晶圓級(jí)封裝，可以大幅縮小相機(jī)的外形尺寸。

本工作的完成單位為清華大學(xué)精密儀器系、精密測(cè)試技術(shù)與儀器全國(guó)重點(diǎn)實(shí)驗(yàn)室。清華大學(xué)精密儀器系2021級(jí)博士生沈子程和博士后趙峰為論文共同第一作者，清華大學(xué)精密儀器系副教授楊原牧和趙峰博士為論文共同通訊作者。清華大學(xué)精密儀器系博士畢業(yè)生倪一博為本工作作出了重要貢獻(xiàn)。研究得到北京市科技計(jì)劃、國(guó)家重點(diǎn)研發(fā)計(jì)劃、國(guó)家自然科學(xué)基金、博士后面上基金的資助。