記事のサマリー(TL;DR)
- NVIDIAはワールドモデル開発プラットフォーム「Cosmos」のCosmos 3モデルファミリーに、対話型ワールドシミュレーションおよびマルチセンサー・マルチビューの走行シーン生成向けに4種の新しいオープンウェイトのチェックポイントを追加しました。
- 追加されたのは、天候・照明・時間帯を変えたマルチビュー走行データを生成する「Cosmos3-Nano-Transfer-Auto」、同期したカメラとLiDAR観測をストリーミングする「Cosmos3-Nano-Sim-Auto」、シミュレーターの制御とテキストプロンプトからフォトリアリスティックな映像を生成する「Cosmos3-Nano-Sim-Transfer」、ロボットやカメラの行動から映像を予測する「Cosmos3-Nano-Sim-Bimanual」の4モデルです。
- いずれもCosmos 3 Nanoを事後学習(post-training)した例であり、学習可能パラメータ数は160億(16B)です。ライセンスにはOpenMDW1.1が採用されており、その条件のもとで商用・非商用の利用が認められています。
詳細
なぜこれらのチェックポイントが必要か
ロボティクス分野では、変化するシーンや視点にまたがって環境の挙動に答えられる環境が必要とされています。これらのチェックポイントは、それぞれ補完的な方法でそうした環境を構築する手段を提供するとされています。Sim-Bimanualは行動から生じる視覚的な結果を予測し、Sim-Transferは物理シミュレーターの制御情報を生成された観測データへと変換します。
自動運転においては、見た目(appearance)とジオメトリが一致している必要があります。同期したカメラとLiDARの生成により、視覚的な観測と3Dセンシングが結び付けられます。シーンや信号機の制御情報を用いることで、研究者は道路レイアウトや信号の状態を変化させ、運転方策(driving policy)がそれにどう反応するかを調べられるとしています。
各観測は次の行動を形作る要素になり得ます。ストリーミング生成は映像予測を継続的なインタラクションに結び付け、ワールドモデルの研究者が行動と観測がどのように展開していくかを探索する手段を提供するとされています。
NVIDIAは、研究者や開発者がより豊かで応答性の高いシミュレーテッドワールドを構築できるよう支援することをビジョンとして掲げており、オープンなウェイトと事後学習のレシピは、モデルの適応、手法の比較、改善への貢献のための共通の出発点を提供するとしています。なお、これらの課題は依然として難しく、モデルがどこまで方策学習や評価を忠実に支援できるかを測定し、その限界を理解し、不十分な点を改善していくことが今後の課題であるとしています。
Cosmos3-Nanoによる自動運転ワールドの構築
🌦️ Transfer-Auto:走行シナリオ → マルチセンサーデータ
Cosmos3-Nano-Transfer-Autoは、オフラインの合成走行データ生成向けの双方向モデルです。魚眼レンズを含む最大11台のカメラビューにわたって同期した映像を生成でき、RGBとLiDARの同時生成にも対応します。カメラごとのWorld Scenario Map(WSM)制御情報がシーン構造と交通の動きを指定し、テキストプロンプトが見た目を誘導します。開発者は環境条件を変化させることで学習・評価のカバレッジを広げることができ、任意でシーンの見た目を固定するための初期RGB画像も利用できます。LiDARの同時生成では、さらにHDマップに整合させたレンジマップ制御情報を使用します。
Transfer-Autoは、Cosmosを独自のセンサー構成や走行ドメインに適応させるための基盤としても機能します。まず自身のデータで事後学習を行い、カメラ配置、LiDAR構成、対象とする環境に合わせます。適応済みのモデルはオフラインのデータ生成にそのまま利用できるほか、因果学習(causal training)と少数ステップの蒸留(few-step distillation)を経て高速なストリーミングシミュレーション向けに仕上げることも可能で、これはCosmos3-Nano-Sim-Autoを作成した際の開発経路です。
🚗 Sim-Auto:走行制御 → ストリーミング観測
Cosmos3-Nano-Sim-Autoは、Transfer-Autoを因果的に蒸留したストリーミング版です。数回のデノイジングステップのみで、同期したカメラ映像とLiDARの小さなチャンクを連続的に生成し、生成済みの履歴と更新された走行制御情報を用いて、高速なストリーミングと長時間の対話的なロールアウトを可能にします。カメラごとのキャプションと同期したWSM制御情報を与え、任意で初期RGB画像を追加できます。LiDAR生成には、カメラ制御情報と整合したHDマップのレンジ制御情報を含めます。蒸留されたモデルは、ローリング履歴を使って連続するチャンクを生成します。クローズドループの対話には、走行入力からこれらの制御情報を更新するためのシミュレーション実行環境とWSMレンダラーが必要です。新しいセンサー構成やドメインに対しては、まずTransfer-Autoを適応させ、その後Sim-Autoへと蒸留します。
🎨 Sim-Transfer:シミュレーター制御 → RGB
シミュレーター側で動作、接触、物理状態が計算されます。Sim-Transferは、その空間制御情報とテキストプロンプトを用いて、方策が利用できるカラー観測を描画します。流れは「行動 → シミュレーター更新 → 空間制御 → 生成されたRGB → 次の方策行動」です。空間制御情報には、カメラからの相対距離を示す深度(Depth)、領域や物体境界を示すセグメンテーション(Segmentation)、シーンの輪郭を示すエッジ(Edges)、おおまかな見た目とレイアウトを示すブラー(Blur)が含まれます。テキストは見た目を誘導しますが、物理や正解となる状態はシミュレーター側に保持されます。
🤖 Sim-Bimanual:行動 → 映像
Cosmos3-Nano-Sim-Bimanualは、両腕(bimanual)ロボットの行動に応じて環境がどのように変化するかをシミュレートします。YAMおよびAgiBotの身体表現(embodiment)について対話的な二腕シミュレーションをサポートし、方策または人が操作するジョイスティックによって制御されます。画像から開始し、ロボットやカメラを動かすことで、次の観測を生成します。1つの制御シーケンス内で、視点変更と操作の間を切り替えることができます。混合行動の例では59個の制御値が使われ、学習時には64個にパディングされます。そのスキーマは座標系、回転、グリッパーの校正、妥当性マスク、制御ドメインを定義しており、各値が意図した動作を正しく表すよう、これらの規約に従う必要があります。タイミングの整合も重要で、T回の遷移にはT+1回の観測が必要です。学習時には生の記録データをモデルの行動表現に変換しますが、公開されている推論用の行動データはすでに正規化済みです。Sim-Transferは物理シミュレーターの更新済み状態から映像を生成するのに対し、Sim-Bimanualはシーンとロボットの行動から直接次の観測を生成するという違いがあります。データ契約と行動スキーマの詳細は別途公開されています。
動作要件として、Linux、NVIDIA GPU、Docker、NVIDIA Container Toolkitが必要です。公開されているvLLM-Omniのセットアップは1基のGB200でテストされていますが、これは最小メモリ要件を示すものではないとされています。サーバー側がウェイトをダウンロードし、クライアント側がサンプル入力を取得する構成です。
ストリーミング生成の仕組み
Cosmos 3は、テキスト処理ネットワークと視覚生成ネットワークをアテンションで結び付けるMixture-of-Transformers構成のバックボーンを採用しています。生成器は、プロンプト、利用可能な制御情報、生成済みの履歴から、それぞれ短いセグメントを予測します。流れは「制御情報+履歴 → チャンク生成 → 画像へのデコード → 履歴の更新」です。
デノイジングは、ノイズを含む圧縮された映像表現をセグメントへと精緻化します。時間方向の因果アテンション(Temporal-causal attention)により、モデルは利用可能な履歴と制御情報を参照しつつ、将来のターゲット観測を参照できないよう制限されます。キー・バリューのキャッシュは、次の予測のためにアテンション情報を保持します。モデルは「潜在表現(latents)」と呼ばれる圧縮映像表現上で動作し、最初の画像の後は、各潜在時間ステップが4枚のRGBフレームに対応します。Transferは1チャンクあたり1ステップを予測するのに対し、技術報告書に記載された最適化版のBimanualの設定では2ステップを予測します。チャンクを小さくするほど、新しい制御情報が生成に反映される頻度が高まります。
4段階の学習レシピ
- ステージ0 — 双方向適応(Bidirectional adaptation):完全な記録済みクリップから、対象ドメインと制御情報・映像間の関係を学習します。
- ステージ1 — Teacher forcing:以前に記録された観測と利用可能な制御情報から各チャンクを予測し、正解データと将来のターゲットはマスクされます。
- ステージ2 — Consistency distillation(一貫性蒸留):固定された教師モデルを用いて、各チャンクを4回のデノイジングステップで生成する生徒モデルを学習します。
- ステージ3 — Self-forcing:生徒モデル自身が生成した履歴に対して学習を行います。固定された教師モデルと補助的なスコアモデルが、分布を一致させるための信号を提供します。
最終ステージが重要とされる理由として、わずかに誤って予測された物体が後続フレームの文脈となり、誤差が積み重なっていく可能性があるためと説明されています。Self-forcingは、学習時にこうした生成済みの履歴にモデルをさらすことでこれに対処します。蒸留とキャッシュの活用により、各観測を生成するコストが削減されます。
🛠️ 自身のデータでの適応
事後学習のレシピはCosmos3-Nanoまたは互換のベースウェイトから開始し、4つの全ステージをカバーします。学習を再開できるよう、完全な学習チェックポイントを保持しておく必要があります。エクスポートされた推論用ウェイトには、オプティマイザなどの学習状態は含まれていません。
- Transfer-auto:自身の走行データで事後学習を行い、センサー構成やドメインに適応させ、オフラインの合成データを生成します。
- Sim-auto:適応済みのTransfer-Autoモデルに因果学習と蒸留を適用し、高速なストリーミングシミュレーションを実現します。
- Sim-Transfer:ローカルでのデータ準備、各ステージの設定、学習再開を含め、対象環境向けにチェックポイントを事後学習します。
- Sim-Bimanual:データ検証、各ステージの設定、チェックポイントの引き継ぎ、エクスポートを含め、対象の身体表現向けに事後学習します。
コーディングエージェントにスキルとデータセットの場所を与え、環境チェックに従い、サンプルを検証し、本格的な学習の前に学習と再起動のテストを行うことが推奨されています。品質の評価は未使用のエピソード(held-out episodes)で行うべきであり、短時間の実行が成功しても、それは実行可否の確認であって収束の確認ではないとされています。
その他のリソース
チェックポイントのダウンロード、Cosmos Labsライブストリームのリプレイ視聴、技術ブログの閲覧が案内されています。