我們非(fei)常高興地宣布(bu)，LeRobot 迎來一系列(lie)重大升(sheng)級(ji)，讓開源的(de)機器(qi)人學(xue)習比以往更(geng)強大、更(geng)可擴展、也更(geng)易用！從重構的(de)數(shu)據(ju)集(ji)到靈活的(de)編輯(ji)工具、新的(de)仿真環境，以及面向硬件的(de)全(quan)新插(cha)件系統，LeRobot 正在(zai)持續演進(jin)，以滿足前沿具身智能 (Embodied AI) 不斷(duan)發展的(de)需(xu)求。

簡要總結

LeRobot v0.4.0 為(wei)開(kai)源機(ji)器人(ren)領域帶來重要升級：引入可擴展的(de) Datasets v3.0、強(qiang)大的(de)新 VLA (視覺-語(yu)言-動(dong)作(zuo)) 模型(xing)如 PI0.5 與 GR00T N1.5，以及全新的(de)插件系統，簡(jian)化硬(ying)件集(ji)成(cheng)。該版本還(huan)新增(zeng)對 LIBERO 與 Meta-World 仿(fang)真的(de)支持、簡(jian)化多 GPU 訓練，并上線全新的(de) Hugging Face 機(ji)器人(ren)學(xue)習(xi)課程(cheng)。

數據集：為下一波大規模機器人學習做好準備

我們徹底重構了數據集基礎設施，推出 LeRobotDataset v3.0，采用全新的(de)分塊式 Episode 格式與流式讀取(qu)能力(li)。這對于處理超大規模數(shu)據集 (如 (Open X Embodiment) 與 ) 是一(yi)次范式躍遷，帶來前所(suo)未有的(de)效率與可擴展性。

Datasets v3.0 有何新變化？

• 分塊式 Episodes，面向超大規模：新格式支持 OXE 量級 (> 400 GB) 的數據集，顯著提升可擴展性。
• 高效視頻存儲與流式讀取：更快的加載速度與順暢的視頻數據流式訪問。
• 統一的 Parquet 元數據：告別分散的 JSON！所有 Episode 的元數據現統一存放于結構化的 Parquet 文件中，便于管理與訪問。
• 更快的加載與更好的性能：顯著縮短數據集初始化時間，內存使用更高效。

我們還提(ti)供了轉換(huan)腳本，幫(bang)助你將現有 v2.1 數據集一鍵遷移到新的 v3.0 格式，確保平滑過渡。更多細節可閱讀我們此前的 。開源(yuan)機器人的學習能力持(chi)續升(sheng)級(ji)中(zhong)！

新特性：數據集編輯工具！

使用 LeRobot 數(shu)據(ju)集從(cong)未如(ru)此輕松！我(wo)們新增了一套強(qiang)大(da)的數(shu)據(ju)集靈活編(bian)輯工具(ju)。

借助全新的命令行工具 lerobot-edit-dataset，你可以：

• 從現有數據集中刪除指定的 Episodes。
• 按比例或 Episode 索引拆分數據集。
• 輕松添加或移除特征字段。
• 將多個數據集合并為一個統一數據集。

# 將多個數據集合并為單一數據集
lerobot-edit-dataset \
    --repo_id lerobot/pusht_merged \
    --operation.type merge \
    --operation.repo_ids "['lerobot/pusht_train', 'lerobot/pusht_val']"

# 刪除部分 episodes 并保存為新數據集（保留原數據集）
lerobot-edit-dataset \
    --repo_id lerobot/pusht \
    --new_repo_id lerobot/pusht_after_deletion \
    --operation.type delete_episodes \
    --operation.episode_indices "[0, 2, 5]"

這些工具將大幅簡化你的工作流，讓你以前所未有(you)的方式(shi)策(ce)劃(hua)與(yu)優化機器人數據集。更多詳情請查閱 ！

仿真環境：擴展你的訓練場

我們持續擴展 LeRobot 的仿真能力，為你(ni)的機器人策略提供更豐富、更多樣化的訓練環境。

LIBERO 支持

LeRobot 現已正式支持 ——這(zhe)是 VLA (視覺-語言-動作) 策略中(zhong)規(gui)模最大的開源基準之一(yi)，涵蓋超(chao)過 130 個任(ren)務！這(zhe)一(yi)步為打造 VLA 策略的首選評(ping)測(ce)樞紐奠(dian)定了基礎，提(ti)供便捷的集成(cheng)方式與統一(yi)的評(ping)測(ce)配置(zhi)。

前往查看 與我們的 開始上(shang)手(shou)！

Meta-World 集成

我們已集成 ，它是評測機器人操作多任務與泛化能力的一流基準，包含 50+ 種多樣化的操作任務。配合我們對 gymnasium ≥ 1.0.0 與 mujoco ≥ 3.0.0 的(de)標(biao)準(zhun)化(hua)使用，這一集成為確定性的(de)隨機種子與穩健的(de)仿真基礎提供了保障。

立即使(shi)用 訓練你的策略吧！

代碼庫：人人可用的強力工具

我們讓機器人控制更加靈活與(yu)易用，解鎖(suo)數據采集與(yu)模型訓練的新可能。

全新的數據處理 Pipeline

讓(rang)數據從機器(qi)人(ren)(ren)流向模型(xing) (再流回去(qu)！) 并不容易。原始(shi)傳感(gan)器(qi)數據、關節(jie)位置與(yu)語言指(zhi)令，與(yu)人(ren)(ren)工(gong)智能模型(xing)期望的輸入并不一致。模型(xing)需要(yao)在正確設備(bei)上的規范化、按(an)批次的張量(liang)，而你的機器(qi)人(ren)(ren)硬件則需要(yao)特定格式的動(dong)作命令。

我們很高興地推出 Processors：一個模塊化的數據處理 Pipeline，可充當通用的“數據翻譯器”。你可以把它想象為一條裝配線，每個 ProcessorStep 只處理(li)一個明(ming)確的工序——例如歸(gui)一化、文本(ben) Token 化、或將數據移(yi)到 GPU。

你可以將(jiang)這些步驟串聯起來，構建強大的(de) Pipeline，精準管(guan)理(li)你的(de)數據流(liu)。我們(men)還提供(gong)了(le)兩(liang)類開(kai)箱即用(yong)的(de) Pipeline，進一步降低使用(yong)門檻：

• PolicyProcessorPipeline：面向模型。專為高性能訓練與推理處理按批次的張量。
• RobotProcessorPipeline：面向硬件。以單條數據 (如單次觀測或動作) 為粒度，服務于實時機器人控制。

# 獲取環境狀態
obs = robot.get_observation()

# 重命名、打批、歸一化、文本分詞、移動到設備 ...
obs_processed = preprocess(obs)

# 推理
action = model.select_action(obs_processed)

# 反歸一化、移動設備 ...
action_processed = postprocess(action)

# 執行動作
robot.send_action(action_processed)

這(zhe)個系(xi)統(tong)讓任何策略與任何機器人都(dou)能簡單互聯，確保你的(de)數據在每(mei)一步都(dou)處于“剛剛好(hao)”的(de)格(ge)式。詳(xiang)情可閱讀我們的(de) 。

多 GPU 訓練更簡單

大規模機器人策略的訓練現在更快了！我們將 直接整合進訓練 Pipeline，只需 一條命令 即可在多塊 GPU 上(shang)無縫擴展你的(de)實驗：

accelerate launch \
  --multi_gpu \
  --num_processes=$NUM_GPUs \
  $(which lerobot-train) \
  --dataset.repo_id=${HF_USER}/my_dataset \
  --policy.repo_id=${HF_USER}/my_trained_policy \
  --policy.type=$POLICY_TYPE \
  # ... 更多訓練配置參數

無論是(shi)對策(ce)略進行微調，還是(shi)開展(zhan)大規模實驗，LeRobot 現(xian)在都能替(ti)你處理(li)分布式訓練(lian)的全部復雜性(xing)。這(zhe)意味著(zhu)你可(ke)以大幅縮短訓練(lian)時間：約 2 塊 GPU 可(ke)減半，約 3 塊 GPU 可(ke)降至三分之一，更多 GPU 效(xiao)率(lv)更高(gao)。

查閱 加速你的(de)機器人(ren)學(xue)習(xi)！

策略：釋放開放世界泛化能力

PI0 與 PI0.5

在開源機器人領域的一個重要里程碑中，我們將 Physical Intelligence 的 pi0 與 pi0.5 策略集成進了 LeRobot！這些(xie) VLA (視(shi)覺-語(yu)言-動作(zuo)) 模型在(zai)(zai)解決開放世(shi)界泛化問(wen)題(ti)上邁(mai)出了重要一步(bu)。那么(me)，π0.5 的革命性體現在(zai)(zai)哪里？

• 開放世界泛化：能夠適應完全陌生的環境與情境，在物理、語義與環境層面實現跨域泛化。
• 異構數據共訓練：從多模態網頁數據、自然語言指令、子任務命令與多環境機器人數據的多樣組合中學習。
• Physical Intelligence 合作：特別感謝 的開創性工作！

你可以在 Hugging Face Hub 上找到這些模型：、 及它們(men)的 Libero 微調版本。更多細節請參考(kao) 。

GR00T N1.5

另一項令人振奮的進展是，我們與 NVIDIA 機器人團隊攜手，將 GR00T N1.5 集成進 LeRobot！這是一(yi)款面(mian)向泛化的開(kai)源基礎模型，能夠進行跨本體的推(tui)理(li)與技能遷移。它接收多模態輸入 (如語(yu)言與圖像) ，可在多樣環境(jing)中執行復(fu)雜的操(cao)作任務，標志著通用機器(qi)人又一(yi)大(da)步。GR00T N1.5 為(wei)何與眾(zhong)不同？

• 泛化推理與技能：作為跨本體的基礎模型，GR00T N1.5 擅長泛化推理與操作任務，并提升了語言跟隨能力。
• 大規模異構訓練：訓練數據覆蓋真實人形機器人采集數據、NVIDIA Isaac GR00T Blueprint 生成的合成數據，以及互聯網規模的視頻數據。
• 與 NVIDIA 合作：我們很高興與 合作，將這一前沿模型帶給開源的 LeRobot 社區！

你可以在 Hugging Face Hub 上找到該模(mo)型：。更多信息(xi)請(qing)查看(kan) 與 。

這些策略在 lerobot 中的(de)原生(sheng)集(ji)成，讓機(ji)器(qi)人學習更開放、更可復現。立即(ji)試用、分享你(ni)的(de)訓練運行(xing)結果(guo)，讓我(wo)們共同推動具(ju)身智能的(de)前沿(yan)！

機器人：插件系統引領硬件集成新紀元

對硬件愛好者而言的重磅消息！我們發布了全新的插件系統，徹底改造了第三方硬件與 LeRobot 的集成方式。現在，只需一次 pip install，就能連接任意(yi)機(ji)器人、相機(ji)或遙(yao)操作設(she)備，無需修改(gai)核心庫。

核心優勢

• 可擴展性：在獨立的 Python 包中開發并集成自定義硬件。
• 規模化：支持不斷增長的設備生態，而不會“增肥”核心庫。
• 社區友好：降低社區貢獻門檻，促進更高效的協作。

想要創建自己的(de)插件？請閱讀我們的(de) 。

pip install lerobot_teleoperator_my_awesome_teleop
lerobot-teleoperate --teleop.type=my_awesome_teleop

Reachy 2 集成

得益(yi)于全新(xin)插件系統，我們(men)已(yi)將(jiang) Pollen Robotics 的 集成到 LeRobot 中！Reachy 2 同時支持真(zhen)實(shi)機器人控(kong)制與仿(fang)真(zhen)，讓你可以(yi)立(li)即開展遙(yao)操作與自主演示(shi)實(shi)驗(yan)。

手機集成

得益于強大的新 Pipeline 系統，你現在可以直接用手機 (iOS/Android) 遙操作你的從動機械臂。手機作為遙操作設備，RobotProcessor Pipeline 負責全(quan)部數據變換，讓(rang)你輕(qing)松在不同動(dong)作空間(jian) (如末(mo)端(duan)執行器空間(jian)) 驅動(dong)機器人。。

Hugging Face 機器人學習課程

我們上線了一門全面、可自學、且完全開源的課程，旨在讓機(ji)器(qi)人學(xue)習真正(zheng)“人人可(ke)學(xue)”！如果你對真實世(shi)界(jie)中的機(ji)器(qi)人如何(he)學(xue)習感興趣，這是(shi)絕(jue)佳的起點。

在這(zhe)門課程中，你將(jiang)學到：

• 理解經典機器人學的基礎知識。
• 使用生成式模型進行模仿學習 (VAE、擴散模型等) 。
• 將強化學習應用于真實機器人。
• 探索最新的通用機器人策略，如 PI0 與 SmolVLA。

加入 一(yi)起(qi)學習吧(ba)！

深入講解：現代機器人學習教程

我們還發布了一篇動手實踐的(de)現(xian)代機(ji)器人學習教程，系(xi)統(tong)梳理(li)近(jin)期的(de)關鍵進(jin)展(zhan)。該指南(nan)從第(di)一性(xing)原理(li)重新推導現(xian)代技術，并提供可直接運行(xing)的(de)示例(li)代碼，全面基于 LeRobot 與(yu) Hugging Face。

教程托管在一個 中，包含大量基于 LeRobot 的(de)實(shi)操示(shi)例(li)，所有模型與數(shu)據集(ji)均在 Hugging Face Hub 上。同時你(ni)也可以(yi)查看 以(yi)獲得(de)更全(quan)面的(de)概(gai)覽(lan)。

團隊總結

除了以上(shang)重大功能，這個版本(ben)還包含大量的(de)(de)(de)錯(cuo)誤修復、文檔(dang)改(gai)進、依賴更(geng)新、更(geng)多示例與(yu)更(geng)好的(de)(de)(de)基(ji)礎(chu)設施，只為讓你(ni)在使用 LeRobot 時獲得(de)更(geng)順滑、更(geng)可靠的(de)(de)(de)體驗(yan)。

衷心感謝每一位社區成員的(de)寶貴貢(gong)獻(xian)、反饋與支持。我(wo)們(men)對(dui)開(kai)源機器人的(de)未來無(wu)比(bi)期待(dai)，也迫不及待(dai)地想與你一起構建下一步！

更多精彩，敬請期待 ?? 現在就從 開始吧！
—— LeRobot 團隊(dui) ??

英文原文:

原(yuan)文作(zuo)者: Steven Palma, Michel Aractingi, Pepijn Kooijmans, Caroline Pascal, Jade Choghari, Francesco Capuano, Adil Zouitine, Martino Russi, Thomas Wolf

譯者: Luke, Hugging Face Fellow