LeRobot v0.6.0：ワールドモデル・報酬モデル・DAgger CLIで自律学習ループが一本化

記事のサマリー（TL;DR）

• VLA-JEPA・LingBot-VA・FastWAM の3つのワールドモデルポリシーが追加。推論コストを増やさず「未来を想像して行動する」学習が可能に
• 汎用報酬モデル Robometer（100万超の軌道データで訓練）と零ショット報酬モデル TOPReward が新設。ロボット成功検出のAPIが統一
• DAgger 対応の lerobot-rollout CLI・FSDP 分散訓練・HF Jobs クラウド学習・最大2倍高速なデータローダーで訓練〜デプロイのループが完結

日本のロボット学習開発者・研究機関が押さえるべき実装変更点

LeRobot v0.6.0 は「研究プロトタイプ」から「実運用ループ」へと踏み出したリリースです。日本国内でもロボットアームを使った物流・製造ラインの自動化検討が活発化していますが、成功検出の自動化（これまでは人手確認が主流）と修正データの効率的な収集という2つの課題に、Robometer と DAgger CLI がそれぞれ直接答えを出しています。HF Jobs により T4 から 8x H200 まで従量課金でクラウド訓練を呼び出せるため、GPU 調達を待たずにモデル検証サイクルを回せる点は、開発環境の整備が遅れがちな中小規模チームにとって特に実用的です。また深度センサー（Intel RealSense）のエンドツーエンド対応により、2.5D 把持が必要なピッキング用途へのハードルが下がります。

詳細

ワールドモデル：ポリシーが「未来を想像する」

ロボティクス分野での大きな問いは「ワールドモデルはロボットポリシーに本当に役立つのか？」です。v0.6.0 はその問いに答えるため、3つのポリシーを LeRobot に追加しました。それぞれ異なるアプローチで、推論コストを抑えながら「未来の想像力」を取り込んでいます。

VLA-JEPA

VLA-JEPA は Qwen3-VL-2B をベースにした小型 VLA で、訓練中に JEPA ワールドモデルが自身の行動から次フレームを潜在空間で予測します。推論時にはワールドモデルが消えるため、追加推論コストゼロでワールドモデルの恩恵を得られる設計です。Hub には DROID 事前学習済みベースを含む3つのチェックポイントが公開されており、lerobot-train --policy.path=lerobot/VLA-JEPA-Pretrain で fine-tuning を開始できます。

LingBot-VA

LingBot-VA は一歩進んで、未来の映像と行動を同時にチャンク単位で自己回帰予測する video-action モデルです。実観測をフィードバックして想像を現実に接地し続ける仕組みで、--policy.save_predicted_video=true を指定すれば「ロボットが想像した映像」と実際の観測を比較できます。推論は 24〜32 GB の GPU 1枚で動作します。

FastWAM

FastWAM は「テスト時に未来を想像する必要があるか？」という問いを論文タイトルにしています。約50億パラメータの動画生成エキスパートと小型アクションエキスパートを1つのネットワークに統合し、訓練中は自身のロールアウトを「夢で見る」一方、推論時には dreaming を完全にスキップしてアクションチャンクを直接 denoise します。lerobot/fastwam_base から fine-tuning 可能です。

VLA：モデルズーが拡充

GR00T N1.7

NVIDIA GR00T の統合を最新版 N1.7 に更新しました。N1.7 は従来の VLM を Cosmos-Reason2-2B（Qwen3-VL ベース）に置き換え、flow-matching アクションヘッドに接続しています。LeRobot の実装は NVIDIA 公式 Isaac-GR00T と同一の入出力で検証済みです。Flash-attention がオプション化されたため、pip install 'lerobot[groot]' だけで導入できます。N1.5 が必要な場合は lerobot==0.5.1 を pin してください。

MolmoAct2

Allen Institute for AI の視覚-言語-行動モデル MolmoAct2 が LeRobot に移植されました。full fine-tuning・LoRA fine-tuning・評価・実機デプロイまで一貫して対応しています。キャリブレーション補正済みのチェックポイントにより、SO-100/101 上でゼロショット実行が可能です。推論は bf16 で約12 GB VRAM に収まり、LoRA fine-tuning は 24 GB GPU 1枚で動作します。

EO-1

視覚-テキスト-行動データで事前学習された VLA です。Qwen2.5-VL-3B バックボーンに flow-matching アクションヘッドを組み合わせており、論文著者自身がコントリビュートしました。--policy.type=eo1 で標準の lerobot-train ワークフローから訓練できます。

Multitask DiT

Toyota Research Institute（TRI）の Large Behavior Models レシピを LeRobot に移植したポリシーです。約4億5000万パラメータの拡散トランスフォーマーが CLIP の視覚・言語埋め込みに条件付けられ、自然言語でタスクを切り替えながら1つのモデルで多タスクを学習します。diffusion と flow-matching の両目標関数をサポートし、自分で訓練できる規模感です。

EVO1

VLA は大型化しなくても高性能を出せます。EVO1 は 0.77B パラメータに InternVL3-1B バックボーンと flow-matching アクションヘッドを詰め込み、モデスト GPU でリアルタイム動作します。2段階 fine-tuning と Real-Time Chunking を標準搭載しています。

報酬モデル：ロボットの成功を自動判定

成功検出と進捗推定はロボット学習ループの欠けていたピースでした。v0.6.0 では lerobot.rewards という統一 API が追加され、HIL-SERL 報酬分類器・SARM に加え2つの新モデルが利用できます。

Robometer

事前学習済みの汎用報酬モデルです。lerobot/Robometer-4B を任意の LeRobot データセットに向けると、タスク固有の訓練なしに生の映像と言語指示からタスク進捗スコアと成功判定を算出します。Qwen3-VL-4B をベースに、100万超のロボット軌道データセット上での軌道比較学習で訓練されています（RSS 2026 論文）。

TOPReward

TOPReward は完全ゼロショット：報酬の重みパラメータが不要です。既存の VLM（Qwen3-VL）をラップし、軌道映像とタスク指示を与えたときの「True」トークンの対数確率を報酬として使います。能力のある VLM があれば即座に報酬関数として機能します。

両モデルとも、フレーム単位の進捗曲線をデータセットに書き込むラベリングスクリプトを同梱しており、報酬認識行動クローニング（RA-BC）やデータセット品質検査に活用できます。

データセット：高速ロード・豊かなデータ

コーデックを自由に選択

録画コーデックがハードコードから解放されました。--dataset.rgb_encoder.* オプションでコーデック・品質・ピクセルフォーマット・GOP・プリセットを完全に制御でき、vcodec=auto は NVENC・VideoToolbox・VAAPI・QSV などハードウェアエンコーダを自動探索してから、デフォルトのソフトウェア AV1 にフォールバックします。既存データセットは1コマンドで再エンコード可能です。

深度センサーのエンドツーエンド対応

Intel RealSense を接続して use_depth: true を設定するだけで、LeRobot が深度マップをエンドツーエンドで記録します。ミリメートル単位でキャプチャされ、コンパクトな12ビット深度映像ストリームとして RGB カメラ映像と並行して保存、訓練時に物理単位にデコードされます。SO-100/101・Koch・OpenArm・reBot・Unitree G1 など主要ロボットに対応しています。

大規模な言語アノテーション

データセットがエピソードごとの単一タスク文字列に縛られなくなりました。タイムスタンプ付きサブタスク・プラン・修正内容・音声・カメラごとの VQA ペアなど豊富な言語アノテーションをネイティブに格納し、lerobot-annotate CLI が VLM（例：Qwen/Qwen2.5-VL-7B-Instruct）で自動付与します。YAML レシピレイヤーがサンプル時にチャット形式の訓練メッセージに変換し、長期ホライゾン・対話型ロボットポリシーのデータ基盤になります。

最大2倍高速なデータローディング

• マルチカメラフレームの並列デコード
• データローダーワーカー間で uint8 フレームを転送（メモリ使用量を従来の4分の1に削減）
• 永続ワーカーによるデコーダキャッシュのエポック間維持

大型データセットの部分ロードは275秒から0.06秒に短縮されました。サンプリングは決定論的かつ再開可能で、中断された訓練をサンプル単位で正確に再開できます。

ベンチマーク：1つの CLI で全評価

v0.5.0 で評価ハブとしての基盤を築き、v0.6.0 では6つの新シミュレーションベンチマークが追加されました。すべて同一の lerobot-eval CLI で実行でき、各ベンチマークにドキュメントページ・Docker イメージ・SmolVLA ベースラインチェックポイントが付属しています。

LIBERO・Meta-World・NVIDIA IsaacLab-Arena と合わせ、9つのベンチマークファミリーが1つの屋根の下に揃いました。並列 eval は非同期ベクトル化環境をデフォルトにして最大2倍高速化しています。

訓練・推論

lerobot-rollout：デプロイ専用 CLI

以前は lerobot-record の上に無理やり載せていたデプロイ処理が、専用 CLI lerobot-rollout として独立しました。プラグイン可能な戦略とバックエンドを備え、4つの運用モードを切り替えられます。

• sentry：ローリングエピソードを Hub へ継続アップロード
• highlight：リングバッファからキー入力で直前 N 秒を保存
• episodic：従来のエピソード/リセット記録ワークフロー
• dagger：デプロイをデータ収集に変換する DAgger モード

DAgger モードでは、ポリシーが誤った瞬間にキー（または USB フットペダル）を押してリーダーアームで修正操作を記録し、ハンドオーバーはジャークなしで行われます。すべての修正フレームに介入フラグが付与され、そのまま次の fine-tuning データになります。デプロイ → 修正収集 → 再訓練のループが CLI 1つで完結します。

FSDP：GPU の壁を越えた大規模訓練

ロボット基盤モデルは単一 GPU に収まらなくなっています。LeRobot は Accelerate を通じて FSDP（fully sharded data parallel）に対応し、パラメータ・勾配・オプティマイザ状態を複数 GPU にシャードします。チェックポイントは通常の model.safetensors として収集されるため、どのポリシーとも互換性があります。GPU 数を変えて FSDP ラン再開も可能です。

HF Jobs によるクラウド訓練

GPU なしで lerobot-train コマンドに --job.target=a10g-small を追加するだけでクラウド訓練が始まります。LeRobot がローカルデータセットをプライベート Hub リポジトリにプッシュし、ジョブを送信してターミナルにログをストリーミングし、訓練済みポリシーを Hub にプッシュします。--job.target で T4 から 8x H200 まで従量課金で選択できます。

コードベース：軽量化とクリーン化

pip install lerobot の依存関係が約40%削減されました。[training]・[core_scripts]・[evaluation] などの機能スコープ別エクストラで残りをカバーし、不足時のエラーメッセージが追加すべきエクストラ名を明示します。PyTorch 2.7〜2.11 に対応し、CUDA 12.8 ホイールを標準 pin。--display_mode=foxglove でテレオペ・録画・ロールアウトを Foxglove にストリーミングでき、リモート環境でも可視化できます。

コミュニティ・エコシステム

• LeLab：ブラウザ UI で LeRobot の全ワークフロー（キャリブレーション・テレオペ・録画・訓練・デプロイ）を CLI なしに実行。現在 SO-ARM101 をサポート。
• Isaac Teleop：NVIDIA との協業成果で、VR コントローラーで SO-101 を CloudXR/OpenXR 経由でテレオペ。
• コンピュートガイド：ポリシーファミリー別の VRAM 目安と RTX 4090〜4x H100 の参考訓練時間を掲載。