大模型機(jī)器人的語音模型：RT-1，PaLM-E，RT2，π系列

多模態(tài)、動(dòng)作頻率和泛化能力三條主線驅(qū)動(dòng)技術(shù)衍變。

1)多模態(tài)： 22年4月Saycan發(fā)布，能夠根據(jù)任務(wù)指令在動(dòng)作庫中輸出Z優(yōu)動(dòng)作。22年12月RT1 發(fā)布， 動(dòng)作輸出升J為由Transformer生成的動(dòng)作Token 。23年3月PaLM-E 發(fā)布，較Saycan 在任務(wù)理解能力上 顯著升J。23年7月RT2發(fā)布，結(jié)合RT1和PaLM-E兩者優(yōu)勢(shì)，將動(dòng)作信息納入模型輸出空間。

2)動(dòng)作頻率： RT2 只能輸出1-5Hz 的動(dòng)作序列，為克服這一問題。24年10月π0發(fā)布，引入采用 FlowMatch 模型的動(dòng)作專家，動(dòng)作輸出升J為50Hz 的動(dòng)作軌跡。25年2月Helix發(fā)布，采用快慢腦結(jié)構(gòu)， 操縱頻率進(jìn)一步提高，輸出200Hz動(dòng)作序列。

3)泛化能力： 由于現(xiàn)實(shí)世界極其復(fù)雜，不可能通過枚舉窮盡所有場(chǎng)景，因此機(jī)器人需要具備“零樣本 泛化”能力。縱觀模型發(fā)展史，各模型均強(qiáng)調(diào)多任務(wù)聯(lián)合訓(xùn)練、預(yù)訓(xùn)練遷移能力以及跨平臺(tái)遷移能力， 核心目的就是提升零樣本泛化表現(xiàn)。

RT-1: 端到端Transformer控制模型

RT-1實(shí)現(xiàn)了端到端的高效控制流程，在真實(shí)環(huán)境中的多任務(wù)執(zhí)行中展現(xiàn)出極高的穩(wěn)定性、泛化能力與工 程適應(yīng)性。實(shí)驗(yàn)表明：1)RT-1可在家庭廚房場(chǎng)景中執(zhí)行超過700項(xiàng)具體任務(wù)，在3000多次真實(shí)測(cè)試中 平均成功率達(dá)97%,典型操作如“移動(dòng)物品” “打開抽屜”等成功率超過90%;2)模型具備較強(qiáng)的語義 泛化能力，能夠理解并正確響應(yīng)指令的多種表達(dá)方式，例如“請(qǐng)遞杯子”與“幫我拿那個(gè)水杯”均能正 確執(zhí)行；3)具備良好的任務(wù)擴(kuò)展能力，新任務(wù)可通過行為克隆(Behavior Cloning) 快速適配，無需重訓(xùn) 練整個(gè)模型，顯著提升數(shù)據(jù)利用效率與部署靈活性。

RT-1仍受限于任務(wù)平臺(tái)耦合、語義理解能力弱等問題，在通用性與認(rèn)知層智能上尚未突破。1)模型在 特定機(jī)器人平臺(tái)和場(chǎng)景(如廚房)上訓(xùn)練，遷移到其他平臺(tái)需重新收集大量數(shù)據(jù)，缺乏跨平臺(tái)泛化能力； 2)僅使用圖像和指令做輸入，缺乏觸覺、語音等其他模態(tài)的感知，對(duì)復(fù)雜任務(wù)(如操作失敗后的反饋修 正)處理力有限；3)缺乏高階規(guī)劃?rùn)C(jī)制，執(zhí)行策略主要依賴短期視覺反饋，難以完成邏輯順序復(fù)雜的任 務(wù)鏈；4)語言指令解析深度不夠，面對(duì)多條件或因果邏輯類表達(dá)(如“先清理再放杯子”)的執(zhí)行準(zhǔn)確 率仍不理想。

PaLM-E: 多模態(tài)具身語言模型

PaLM-E 在多個(gè)具身任務(wù)和視覺語言任務(wù)中展現(xiàn)出優(yōu)秀的泛化能力和任務(wù)遷移性能。在桌面操作與移動(dòng)操作 環(huán)境中，PaLM-E 能生成多步語言計(jì)劃并驅(qū)動(dòng)真實(shí)機(jī)器人完成如“分類推積木”“從抽屜中取物”等任務(wù)， 實(shí)現(xiàn)one-shot 和 zero-shot 泛化。此外，PaLM-E-562B 在OK-VQA 等通用視覺語言任務(wù)中取得L先成績(jī)，并 能進(jìn)行多圖推理、數(shù)學(xué)運(yùn)算與時(shí)序感知問答等復(fù)雜推理。聯(lián)合訓(xùn)練實(shí)驗(yàn)表明，通過融合多源數(shù)據(jù)， PaLM-E 在僅用少量具身數(shù)據(jù)時(shí)依然能維持高性能表現(xiàn)。

PaLM-E 在實(shí)際部署中仍面臨一定挑戰(zhàn)，主要包括模型規(guī)模、推理效率與訓(xùn)練門檻問題。1)模型體量龐大： 如 PaLM-E-562B 包含540B 的語言模型與22B 的視覺編碼器，推理速度與資源需求高，不適合部署在資源受 限的機(jī)器人邊緣設(shè)備上；2)訓(xùn)練成本高：需要預(yù)訓(xùn)練的大模型、圖像編碼器與高質(zhì)量具身數(shù)據(jù)，訓(xùn)練門檻高， 數(shù)據(jù)采集效率有限；3)低層控制依賴預(yù)設(shè)策略：高層生成的文本決策仍需靠RT-1等低層策略執(zhí)行，系統(tǒng)整體 仍未完全閉環(huán)自動(dòng)學(xué)習(xí)；4)對(duì)三維感知場(chǎng)景效果有限：雖然OSRT 引入了神經(jīng)三維結(jié)構(gòu)表示，但在高度復(fù)雜、 動(dòng)態(tài)交互場(chǎng)景中的空間理解仍有提升空間。

RT2

架構(gòu)&輸出：采用經(jīng)動(dòng)作信息訓(xùn)練的VLA 模型，輸出1-5Hz 的動(dòng)作序列。 VLM 模型以PaLM-X 或 PaLM-E 為骨干，經(jīng)過上述方法訓(xùn)練后成為端到端的VLA 模型。后者在應(yīng)用中可直接分析經(jīng)ViT處 理的圖像信息和語言信息，Z后視模型大小輸出1-5Hz的動(dòng)作序列。

具體流程：當(dāng)聽到“幫我從冰箱里拿一瓶水的指令時(shí)”,由VLM 模型分析圖像和語言信息，直接理 解任務(wù)要求，并輸出如手臂旋轉(zhuǎn)幾度、電機(jī)如何運(yùn)行的動(dòng)作Token 序列。其相較于RT1, 主要結(jié)合 了PaLM-E 推理和決策的優(yōu)勢(shì)，增強(qiáng)了對(duì)任務(wù)的理解能力。

π0/π0-Fast/π0.5: 引入動(dòng)作專家，輸出50Hz 動(dòng)作軌跡

π0: 采 用VLM+ 動(dòng)作專家，輸出50Hz動(dòng)作軌跡。 π0由預(yù)訓(xùn)練的VLM (視覺模型SigLIP+LLM 模型 Gemma) 和使用Flowmatch 模型的動(dòng)作專家組成。圖像信息經(jīng)ViT后和語言信息一同輸入給VLM, 經(jīng)其處理后輸入給動(dòng)作專家，后者結(jié)合當(dāng)前狀態(tài)q, 輸出50Hz連續(xù)動(dòng)作軌跡。

π0-Fast: 采用Fast算法+Transformer 動(dòng)作專家，訓(xùn)練時(shí)間縮短5倍。 Fast算法先將動(dòng)作軌跡用DCT (離散余弦變換)壓縮，再由BPE (字節(jié)對(duì)編碼)后生成離散動(dòng)作Token, 進(jìn)而可將運(yùn)動(dòng)數(shù)據(jù)放入 動(dòng)作專家模型中訓(xùn)練，實(shí)際應(yīng)用中Transformer輸出的動(dòng)作Token 經(jīng)Fast解碼后轉(zhuǎn)為動(dòng)作軌跡。

π0.5:采用內(nèi)置策略規(guī)劃器的VLA。 類似π0-Fast,將VLM 訓(xùn)練為VLA, 同時(shí)內(nèi)嵌任務(wù)分J模塊。

Helix

●架構(gòu)&輸出：采用端到端的快慢腦架構(gòu)，輸出200Hz 動(dòng)作序列。Helix采用一個(gè)7B 參數(shù)量的預(yù)訓(xùn)練 VLM 作為慢腦，以及一個(gè)80M 參數(shù)量的Transformer模型作為快腦。兩個(gè)模型解耦，在實(shí)際應(yīng)用中 以不同頻率同時(shí)處理圖像及語言訊息，慢腦負(fù)責(zé)思考高層目標(biāo)，并以潛在向量指揮快腦，快腦負(fù) 責(zé)實(shí)時(shí)執(zhí)行和調(diào)整動(dòng)作，并輸出200Hz動(dòng)作序列。同時(shí)由于潛在向量的存在，快慢腦可進(jìn)行梯度 回傳，從而兩者構(gòu)成一個(gè)整體的端到端模型。

● 創(chuàng)新點(diǎn)：實(shí)現(xiàn)零樣本多機(jī)器人協(xié)同以及拾取能力涌現(xiàn)。實(shí)驗(yàn)中，兩臺(tái)Figure 02使用Helix次實(shí)現(xiàn) 了多機(jī)器人間的協(xié)作任務(wù)。同時(shí)， Figure發(fā)現(xiàn)，Helix涌現(xiàn)了拾取任意物品的能力。

● 優(yōu)勢(shì)：雙系統(tǒng)架構(gòu)符合人類思考方式，同時(shí)由于模型參數(shù)增多會(huì)拉慢推理速度，因此若想在兼具 較強(qiáng)推理和運(yùn)動(dòng)輸出能力，思考執(zhí)行分層的快慢腦架構(gòu)必不可少。

● 改進(jìn)方向1-優(yōu)化雙系統(tǒng)架構(gòu)的融合性：智平方的FiS-VLA 為雙系統(tǒng)架構(gòu)的融合性提出了創(chuàng)新�，F(xiàn) 有的雙系統(tǒng)模型存在兩個(gè)系統(tǒng)相對(duì)d立，無法充分共享“慢思考”系統(tǒng)預(yù)訓(xùn)練知識(shí)的問題，協(xié)同 效率低，“快執(zhí)行”系統(tǒng)缺乏對(duì)“慢思考”系統(tǒng)語義推理結(jié)果的充分利用。FiS-VLA 提出創(chuàng)新架 構(gòu)，將VLM末端2層Transformer 模塊重構(gòu)為“快執(zhí)行”的執(zhí)行模塊，嵌入“慢思考”內(nèi)部，形成 統(tǒng)一的高效推理與控制模型。這種思路既保留了雙系統(tǒng)架構(gòu)的動(dòng)作輸出能力，又擁有融合型模型 的貫通理解能力。

● 改進(jìn)方向2-優(yōu)化動(dòng)作輸出模塊能力：FiS-VLA 采用了雙系統(tǒng)感知協(xié)同訓(xùn)練策略，利用擴(kuò)散建模增 強(qiáng)了“快執(zhí)行”系統(tǒng)的動(dòng)作生成能力，更好適配Action Chunking的優(yōu)勢(shì)，動(dòng)作輸出穩(wěn)定性提升。