矢量圖形具有易于編輯、可任意縮放的優(yōu)點(diǎn)，不存在模糊和細(xì)節(jié)混疊等偽影，基于矢量圖形的應(yīng)用和研究引起了人們的廣泛關(guān)注。近日，中國(guó)科學(xué)院大學(xué)肖俊研究團(tuán)隊(duì)針對(duì)平面矢量戶型圖的語(yǔ)義分割任務(wù)進(jìn)行研究，提出了可直接應(yīng)用于矢量戶型圖分割的雙流圖神經(jīng)網(wǎng)絡(luò)，相關(guān)工作近期在計(jì)算機(jī)視覺(jué)領(lǐng)域的頂級(jí)會(huì)議CVPR 2023上在線發(fā)表，該論文在初始評(píng)審中獲得了審稿人一致接受的意見(jiàn),并最終獲選為highlight工作。CVPR 2023共收到投稿9155篇，錄用2360篇，其中235篇論文被選為highlight論文，highlight論文約占所有錄用論文的10%、投稿論文的2.5% 。

圖1 基于矢量戶型圖語(yǔ)義分割的雙流圖神經(jīng)網(wǎng)絡(luò)

研究認(rèn)為，現(xiàn)有工作將矢量戶型圖渲染為圖像，使用基于圖像的語(yǔ)義分割網(wǎng)絡(luò)，忽略了矢量圖形中的結(jié)構(gòu)信息，分割結(jié)果中往往具有碎片化語(yǔ)義區(qū)域。本研究旨在設(shè)計(jì)可以直接處理矢量戶型圖的語(yǔ)義分割網(wǎng)絡(luò)，能夠避免圖像分割方法中帶來(lái)的區(qū)域不一致性。該任務(wù)具有下列挑戰(zhàn)：由于矢量圖形包含不規(guī)則的數(shù)據(jù)結(jié)構(gòu)，因此難以直接應(yīng)用現(xiàn)有的語(yǔ)義分割神經(jīng)網(wǎng)絡(luò)進(jìn)行處理；戶型圖中不同房間相互連接，難以劃分一致且封閉的語(yǔ)義區(qū)域；房間語(yǔ)義不僅取決于形狀特征，還取決于在整個(gè)戶型圖中的相對(duì)位置。針對(duì)上述挑戰(zhàn)，本研究設(shè)計(jì)了如圖1所示的雙流圖神經(jīng)網(wǎng)絡(luò)。其中，網(wǎng)絡(luò)的主分支 (primal stream) 用于預(yù)測(cè)語(yǔ)義區(qū)域邊界，對(duì)偶分支 (dual stream) 用于預(yù)測(cè)語(yǔ)義區(qū)域類別，主分支與對(duì)偶分支通過(guò)圖注意力機(jī)制 (graph attention) 形成交互，提升各自分支的預(yù)測(cè)能力。考慮到矢量圖形在工業(yè)設(shè)計(jì)中的重要性，研究希望啟發(fā)對(duì)矢量圖形的深度學(xué)習(xí)進(jìn)行進(jìn)一步探索。

中國(guó)科學(xué)院大學(xué)人工智能學(xué)院肖俊教授和姜海勇副教授指導(dǎo)的博士生楊炳琛為該論文的第一作者。本工作得到了國(guó)家自然科學(xué)基金(U2003109, U21A20515, 62102393, 62206263, 62271467)、中國(guó)博士后科學(xué)基金(2022T150639, 2021M703162)等項(xiàng)目的支持。