近年來，隨著人工智能從感知智能向決策智能演進(jìn)，世界模型 (World Models) 逐漸成為機(jī)器人領(lǐng)域的重要研究方向。世界模型旨在讓智能體對環(huán)境進(jìn)行建模并預(yù)測未來狀態(tài)，從而實(shí)現(xiàn)更高效的規(guī)劃與決策。

與此同時(shí)，具身數(shù)據(jù)也迎來了爆發(fā)式關(guān)注。因?yàn)槟壳熬呱硭惴ǜ叨纫蕾囉诖笠?guī)模的真實(shí)機(jī)器人演示數(shù)據(jù)，而這些數(shù)據(jù)的采集過程往往成本高昂、耗時(shí)費(fèi)力，嚴(yán)重限制了其可擴(kuò)展性和泛化能力。盡管仿真平臺(tái)提供了一種相對低成本的數(shù)據(jù)生成方式，但由于仿真環(huán)境與真實(shí)世界之間存在顯著的視覺和動(dòng)力學(xué)差異 (即sim-to-real gap) ，導(dǎo)致在仿真中訓(xùn)練的策略難以直接遷移到真實(shí)機(jī)器人上，從而限制了其實(shí)際應(yīng)用效果。因此如何高效獲取、生成和利用高質(zhì)量的具身數(shù)據(jù)，已成為當(dāng)前機(jī)器人學(xué)習(xí)領(lǐng)域的核心挑戰(zhàn)之一。

近日，地平線、極佳科技與中國科學(xué)院自動(dòng)化研究所等單位提出RoboTransfer，基于擴(kuò)散模型的視頻生成框架，可以用于擴(kuò)充機(jī)器人策略模型的訓(xùn)練數(shù)據(jù)。得益于合成數(shù)據(jù)的多樣性，下游策略模型能夠在新場景下取得251%的顯著提升，大幅提升策略模型的泛化性，為具身智能的通用性與泛化性奠定了堅(jiān)實(shí)的基礎(chǔ)。

? 論文鏈接：

https://arxiv.org/pdf/2505.23171

? 項(xiàng)目主頁：

https://horizonrobotics.github.io/robot_lab/robotransfer/

模仿學(xué)習(xí) (Imitation Learning) 已成為機(jī)器人操作領(lǐng)域的重要方法之一。通過讓機(jī)器人“模仿”專家示教的行為，可以在復(fù)雜任務(wù)中快速構(gòu)建有效的策略模型。然而，這類方法通常依賴大量高質(zhì)量的真實(shí)機(jī)器人演示數(shù)據(jù)，而數(shù)據(jù)采集過程成本高、周期長，嚴(yán)重制約了其擴(kuò)展性和泛化能力。

為了解決上述問題，本項(xiàng)工作提出了RoboTransfer，一種基于擴(kuò)散模型 (diffusion model) 的視頻生成框架，旨在實(shí)現(xiàn)高質(zhì)量的機(jī)器人操作場景數(shù)據(jù)合成。不同于傳統(tǒng)的仿真方法或現(xiàn)有生成模型，RoboTransfer融合了多視角幾何信息，并對場景中的關(guān)鍵組成成分（如背景、物體屬性等）實(shí)現(xiàn)了顯式控制。具體而言，RoboTransfer通過引入跨視角特征交互機(jī)制以及全局深度圖與法向圖作為條件輸入，確保生成視頻在多個(gè)視角下的幾何一致性。此外，該框架支持細(xì)粒度的編輯控制，例如更換背景、替換目標(biāo)物體等，從而能夠靈活地生成多樣化、結(jié)構(gòu)合理的視覺數(shù)據(jù)。

實(shí)驗(yàn)結(jié)果表明，RoboTransfer能夠生成具有高幾何一致性和視覺質(zhì)量的多視角視頻序列。此外，使用RoboTransfer合成數(shù)據(jù)訓(xùn)練的機(jī)器人視覺策略模型，在標(biāo)準(zhǔn)測試任務(wù)中表現(xiàn)出顯著提升的性能：在更換前景物體的場景下取得了33.3%的成功率相對提升，在更具挑戰(zhàn)性的場景下（同時(shí)更換前景背景）更是達(dá)到了251%的顯著提升。

RoboTransfer的整體框圖如下，為了在視頻生成過程中保證多視角之間的一致性，RoboTransfer引入了多視角一致性建模機(jī)制，使得生成過程能夠聯(lián)合不同視角的信息進(jìn)行推理，從而提升生成結(jié)果的空間連貫性與視覺合理性。

此外，在控制條件的設(shè)計(jì)方面，RoboTransfer通過將控制信號(hào)解耦為幾何信息與外觀（紋理）信息兩個(gè)部分，實(shí)現(xiàn)了對生成內(nèi)容的細(xì)粒度控制。具體來說，在幾何控制方面，采用深度圖 (depth map) 和表面法向圖 (surface normal map) 等具有強(qiáng)結(jié)構(gòu)約束的表示方式，來引導(dǎo)生成視頻中物體的三維空間結(jié)構(gòu)，確保在不同視角下生成內(nèi)容的幾何一致性。而在外觀控制方面，模型利用參考背景圖像和目標(biāo)物體的參考圖像作為輸入條件，這些圖像經(jīng)過編碼后能夠有效保留原始場景的色彩、紋理以及上下文信息，從而在生成過程中維持物體外觀的細(xì)節(jié)還原能力。

在實(shí)驗(yàn)部分，RoboTransfer證明可以通過real-to-real，以及sim-to-real兩種方式實(shí)現(xiàn)數(shù)據(jù)增廣，并訓(xùn)練下游的策略模型提升其性能。

real-to-real數(shù)據(jù)增廣

基于真機(jī)采集的真實(shí)視頻數(shù)據(jù)，可從中提取結(jié)構(gòu)化信息作為控制條件，通過調(diào)整背景桌面與前景物體的控制參數(shù)，實(shí)現(xiàn)新場景數(shù)據(jù)的合成。如下圖所示，左側(cè)為真實(shí)采集的數(shù)據(jù)及其對應(yīng)的結(jié)構(gòu)化信息，右側(cè)為合成結(jié)果，實(shí)驗(yàn)表明RoboTransfer能夠靈活地實(shí)現(xiàn)背景桌布的替換。

改變前景：下圖所示第一行為真機(jī)采集數(shù)據(jù)，第二行為深度圖，第三行為法向圖，第四行為前景物體的控制條件，第五行為合成數(shù)據(jù)，第六行為背景桌布控制條件。以下實(shí)驗(yàn)結(jié)果表明RoboTransfer可以實(shí)現(xiàn)對前景物體外表編輯的功能，豐富生成數(shù)據(jù)的多樣性，提升策略模型的訓(xùn)練質(zhì)量。

sim-to-real數(shù)據(jù)增廣

RoboTransfer不僅可以改變真機(jī)數(shù)據(jù)的前景和背景，還可以實(shí)現(xiàn)對仿真數(shù)據(jù)的重新渲染。利用仿真數(shù)據(jù)中的結(jié)構(gòu)化信息以及真實(shí)場景的物體和背景作為控制條件，RoboTransfer可以將仿真數(shù)據(jù)的轉(zhuǎn)化為逼真的真實(shí)數(shù)據(jù)，極大地降低sim-to-real之間的gap，為通用機(jī)器人的訓(xùn)練提供了一個(gè)新的范式。以下是兩個(gè)不同的仿真場景重新渲染的實(shí)驗(yàn)結(jié)果，左側(cè)是疊碗，右側(cè)是放置杯子，其中第一行為仿真采集數(shù)據(jù)，第二行為深度圖，第三行為法向圖，第四行為合成數(shù)據(jù)，第五行為背景參考圖。

對比實(shí)驗(yàn)結(jié)果

與其他SOTA方法的對比可以發(fā)現(xiàn)，RoboTransfer在時(shí)序一致性以及多視角之間的一致性上都要顯著優(yōu)于其他方法。

定量實(shí)驗(yàn)的實(shí)驗(yàn)結(jié)果如下表所示，實(shí)驗(yàn)表明對于生成數(shù)據(jù)的前背景增廣可以顯著提升策略模型在新場景下的成功率，其中對于前背景完全改變的新場景，前背景的數(shù)據(jù)增廣能夠讓策略模型獲得251%的性能提升。

表1：數(shù)據(jù)增廣對于策略模型在不同setting下的提升

總體來說，該方法構(gòu)建了數(shù)據(jù)處理流程，可以生成包含幾何和外觀控制條件的三元組數(shù)據(jù)，以訓(xùn)練基于擴(kuò)散模型的機(jī)器人數(shù)據(jù)合成框架RoboTransfer。實(shí)驗(yàn)和評估結(jié)果顯示，RoboTransfer能夠生成具有多視角一致、幾何一致的數(shù)據(jù)，并且可以根據(jù)參考圖像修改前景和背景紋理。生成的數(shù)據(jù)用于訓(xùn)練機(jī)器人操作策略，從而顯著提升了策略模型的泛化能力。