大模型的具身智能決策能力，終于有系統(tǒng)的通用評估基準了。
李飛飛吳佳俊團隊新提出的評估框架，對具身智能決策的四項關(guān)鍵子能力來了個全面檢查。
這套基準已經(jīng)被選為了NeurIPS數(shù)據(jù)和測試集（D&B）專欄Oral論文，同時也被收錄進了PyPI，只要一行代碼就能快速調(diào)用。
該框架名為Embodied Agent Interface（簡稱EAI），提供了連接不同模塊和基準環(huán)境的標準接口。
利用這套框架，作者對18款主流模型進行了測試，形成了一篇超百頁的論文。
測試結(jié)果顯示，在已公開的大模型當(dāng)中，o1-preview的綜合成績位列第一。
李飛飛本人表示，對這項合作研究感到非常興奮。
有網(wǎng)友評價說，這項成果為大模型具身智能決策塑造了未來。
四項子能力全面評估
首先，EAI提供了一種統(tǒng)一的目標表示方法，能夠兼容不同類型的目標，并支持復(fù)雜約束的描述。
團隊認為，現(xiàn)有的具身決策任務(wù)通常針對特定領(lǐng)域設(shè)計目標，缺乏一致性和通用性。
例如，BEHAVIOR和VirtualHome都是具身智能體的評測基準和模擬環(huán)境，用于研究智能體在復(fù)雜環(huán)境中完成任務(wù)的能力。
但二者又有所區(qū)別，BEHAVIOR使用基于狀態(tài)的目標，而VirtualHome使用時間擴展的目標。
EAI則通過引入線性時態(tài)邏輯（LTL），實現(xiàn)了目標表示方式的統(tǒng)一，提高了模塊之間的互操作性，便于比較不同模型在同一任務(wù)上的表現(xiàn)。
在具體的評估過程當(dāng)中，EAI采用了模塊化的評估方式，并將評估指標進行了更細粒度的劃分。
以往的研究通常將大模型作為整體進行評估，很少關(guān)注其在具身決策各個子任務(wù)上的表現(xiàn)；
同時，這些現(xiàn)有基準通常只關(guān)注任務(wù)的最終成功率，很少深入分析模型的錯誤類型和原因。
為了更深入理解大模型的行為模式和優(yōu)劣勢分布，EAI提出了四個關(guān)鍵能力模塊，并設(shè)計了一系列細粒度的評估指標：
將模型能力分為四個關(guān)鍵模塊；
定義了清晰的輸入輸出接口；
從軌跡可執(zhí)行性、目標滿足度、邏輯匹配性等多個角度評估模型的性能；
引入了豐富的注釋（如目標狀態(tài)、關(guān)系、動作），以實現(xiàn)自動化的錯誤分析。
具體來說，四個關(guān)鍵模塊及內(nèi)容分別是：
目標解釋（Goal Interpretation）：將自然語言表述的任務(wù)目標轉(zhuǎn)化為形式化的LTL目標公式；
子目標分解（Subgoal Decomposition）：將任務(wù)目標分解為一系列子目標，每個子目標也用LTL公式表示；
動作序列規(guī)劃（Action Sequencing）：根據(jù)任務(wù)目標生成動作序列，在環(huán)境中執(zhí)行以達成目標狀態(tài)；
轉(zhuǎn)換建模（Transition Modeling）：為每個動作或操作符生成前提條件和效果，形成環(huán)境轉(zhuǎn)換模型。
另外，EAI選取了兩個具有代表性但特點迥異的環(huán)境，也就是前面提到的BEHAVIOR和VirtualHome。
相比于單一環(huán)境評估，EAI更能考察大模型跨領(lǐng)域的泛化能力，有助于全面理解其適用范圍和局限性。
o1-preview綜合成績第一
利用EAI這套標準，研究團隊對GPT、Claude、Gemini等18款主流模型（型號）的決策能力進行了評估。
在BEHAVIOR和VirtualHome環(huán)境下，o1-preview均獲得了排行榜綜合成績第一名。
其中在BEHAVIOR環(huán)境中，o1-preview得分為74.9，比第二名的Claude 3.5 Sonnet高了10多分，排在之后的是60分左右的Claude 3 Opus和GPT-4o。
到了VirtualHome環(huán)境下，依然是o1-preview領(lǐng)先，但前三名的成績相對接近。
同時Gemini 1.5 Pro變成了第二名，不過整體來看排行靠前的幾個模型和BEHAVIOR環(huán)境類似。
當(dāng)然如果比較單項能力，不同模型也體現(xiàn)出了各自不同的優(yōu)勢項目。
比如在BEHAVIOR環(huán)境中，總分排第二的Claude 3.5 Sonnet，目標解釋能力略高于總分排第一的o1-preview。
在VirtualHome環(huán)境中，總分相對靠后的Mistral Large，在動作序列規(guī)劃上取得了第一名。
作者還對各模型的失敗情況進行了深入分析，發(fā)現(xiàn)了將中間狀態(tài)誤識別為最終目標狀態(tài)、對隱含的物理關(guān)系理解不足、忽略重要的前提條件等具體問題。
這些發(fā)現(xiàn)能夠讓研究人員對模型的優(yōu)缺陷進行更深層的了解，為之后的研究提供了重要參考。
文章來源：量子位
