像人一樣家庭大模型機器人的關鍵模塊：異構數據協(xié)同訓練（數據策略）、兩階段訓練管線（訓練策略）、分層推理架構（模型設計）

家庭大模型機器人不局限于單一機器人的數據，而是構建了一個異構數據混合體（Heterogeneous Data Mixture）。

1、數據大熔爐：將移動操作機器人（Mobile Manipulator）、靜態(tài)機械臂、不同形態(tài)的機器人數據（Cross-Embodiment）、互聯網圖文數據（Web Data）以及高層語義任務預測（High-Level Prediction）全部扔進一個模型里訓練。

2、兩階段進化：先通過海量雜亂數據進行預訓練（Pre-training）獲得通用常識，再通過高質量指令數據進行后訓練（Post-training）學會聽話和精細操作。

3、語義指導動作：模型不僅輸出底層的關節(jié)指令，還預測高層的子任務（如“打開微波爐”），利用語言思維鏈來指導長程操作。

家庭大模型機器人π0.5 證明了機器人的泛化能力不需要奇跡，只需要足夠豐富的數據“喂養(yǎng)”——當機器人看過了互聯網上的萬千世界，它自然也就懂得了如何收拾你家亂糟糟的臥室。

家庭大模型機器人的核心設計圍繞如何讓一個模型同時消化“書本知識”（Web Data）和“肌肉記憶”（Robot Action）。其實現聚焦三個關鍵模塊：異構數據協(xié)同訓練（數據策略）、兩階段訓練管線（訓練策略）、分層推理架構（模型設計）。

關鍵模塊一：異構數據協(xié)同訓練 (Co-training)

這個模塊要解決的，是“如何讓機器人從別人的經驗中學習”。

數據構成：

MM (Mobile Manipulator) ：本機型的移動操作數據。

ME (Multi-Environment) ：其他非移動機器人在不同環(huán)境下的數據。

CE (Cross-Embodiment) ：實驗室環(huán)境下不同構型機器人的數據。

WD (Web Data) ：互聯網上的視覺問答（VQA）和檢測數據，用于提升對陌生物體的認知。

HL (High-Level) ：高層子任務預測數據，教機器人學會規(guī)劃。

優(yōu)勢：如圖 4 所示，這種混合策略讓模型在面對從未見過的物體（Out-of-Distribution Objects）時，能利用 Web Data 中的常識進行推理，而不是傻眼。

關鍵模塊二：兩階段訓練與 FAST Tokenizer

為機器人打造“通用大腦”與“專業(yè)小腦”。

1、預訓練 (Pre-training) ：目標是多樣性。

混合了所有來源的數據，使用 FAST action tokenizer 將連續(xù)動作離散化，像訓練 GPT 一樣訓練機器人預測下一個 Action Token。

2、后訓練 (Post-training) ：目標是專業(yè)化。

加入口頭指令 (Verbal Instructions) 數據，專注于移動操作任務，剔除部分實驗室數據，讓模型適應真實家庭的嘈雜環(huán)境。

關鍵模塊三：真實家庭環(huán)境驗證

展示了“Sim-to-Real”和“Lab-to-Home”的跨越。

實驗設置：

Mock Rooms：搭建了可復現的模擬房間進行定量測試。

Real Homes：Z硬核的部分。在 3 個完全陌生 的真實家庭（Real Kitchens & Bedrooms）中部署機器人。

表現：如圖 7 所示，在“整理抽屜”、“收集衣物”、“洗碗”等任務中，家庭大模型機器人π0.5 展現了驚人的魯棒性。它不僅能聽懂“把襯衫放進籃子”這樣的指令，還能連續(xù)工作 10-15 分鐘 不掉鏈子。