記事のサマリー（TL;DR）
- NVIDIAが40億パラメータの世界モデル「Cosmos 3 Edge」をHugging Faceで公開。NVIDIA Jetson Thor上でリアルタイム15Hz制御を達成
- 2つのTransformerタワー（自己回帰 + 拡散）が共有マルチモーダルアテンション層を持ち、理解・予測・アクション生成を1モデルで実行
- 4ステップ蒸留で推論を最大25倍高速化する「Cosmos 3 Super 4-Step Distillation」チェックポイントも同時公開
国内ロボティクス・スマートファクトリー事業者が注目すべき実装ポイント
Cosmos 3 Edgeは、工場・倉庫・病院など「エッジ環境」での物理AI稼働を前提に設計されています。日本の製造業では産業用ロボットアームのエンドエフェクタ制御や、AGV（無人搬送車）の自律ナビゲーションにおいて、リアルタイム推論への需要が高まっています。本モデルはRTX PROやJetsonシリーズ（新発表のJetson T2000/T3000を含む）など既存のNVIDIAエッジハードウェア上で動作し、H100またはNVIDIA DGX Stationの小規模クラスタでファインチューニングしてからエッジにデプロイするワークフローを採用しています。DROIDデータセットでポストトレーニング済みのピック＆プレイスポリシーが参照実装として提供されるため、カスタムロボットポリシーの構築コストを下げられる点は実務上の評価ポイントです。また、vLLMなどオープン推論フレームワークによる最適化も予告されており、今後の推論コスト削減が見込まれます。
詳細
世界モデル（World Modeling）とは何か
世界モデルとは、環境が時間とともにどう変化するかを学習するモデルです。物体・動き・空間的関係性・アクションの影響を表現します。
たとえばロボットが物体をつかもうとする場面を考えると、物体を認識するだけでは不十分です。ロボットは次の情報を統合的に理解する必要があります。
- 物体の位置
- グリッパーの動き
- 接触時に何が起こるか
- タスクを完了するために最も有効なアクション
世界モデルはこれらの関係を推論するための基盤です。「あるアクションの視覚的結果を予測する」「変化を引き起こしたアクションを逆算する」「望む結果を生み出すアクションを生成する」という3方向で機能します。Cosmos 3 Edgeはこれらの能力をオンデバイスで1つのモデルに統合し、現在の世界状態の理解・将来シミュレーション・アクションへの接続を共有表現で実現します。
2つのTransformerタワー、1つの共有表現
Cosmos 3は2種類のTransformerタワーを組み合わせています。
自己回帰タワー（Autoregressive Tower）
- 視覚トークンとテキストトークンを処理
- 理解と推論を担当
拡散タワー（Diffusion Tower）
- 視覚・音声・アクショントークンを処理
- 予測・生成・ニューラルシミュレーションを担当
2つのタワーはそれぞれ独立した正規化層とMLP（多層パーセプトロン）を保持しながら、マルチモーダルアテンション層を共有します。このアテンション層が言語・映像・音声・アクションにわたる情報を整合させます。
アテンションパターンも情報の種類に応じて使い分けられています。言語にはCausal Attention（各トークンが前のトークンのみを参照）を採用し、拡散トークンはより広いコンテキストを参照して一貫性のある予測・生成をサポートします。
この設計により、モデルは出力を生成する前にシーンを推論できます。タスクに応じて、自己回帰タワーから推論トークンを出力することも、拡散タワーからノイズ除去済みの映像・アクショントークンを出力することも可能です。
多様なロボット形態に対応する共有アクション表現
物理システムはアクションを異なる形式で記述します。
- 車両: エゴポーズ（自己位置姿勢）と移動量
- カメラ: カメラモーション
- ロボットアーム: エンドエフェクタのポーズ
- ハンド・グリッパー: 把持状態（Grasp State）も含む表現が必要
Cosmos 3はこれらの異なるエンボディメント（身体形態）を共通アクション表現にマッピングします。アクションはコンパクトな幾何ベクトルとして符号化され、以下の3要素を捉えます。
- 並進（Translation）
- 回転（Rotation）
- マニピュレーション状態（Manipulation State）
これにより、制御信号と世界の視覚的構造が直接結びつきます。ピクセルの変化が物理的な動き・空間関係・制御入力と関連付けられるため、生成された映像は単なる視覚的予測にとどまらず、「アクションに応じて世界がどう変化するか」の表現となります。開発者は動き・制御・因果関係に根ざした学習データを得られます。
ポリシーモード（Policy Mode）
ポリシーとして動作する際、Cosmos 3はアクションと期待される視覚的結果を同時に予測します。「システムが何をすべきか」を生成し、「次に何が起きそうか」をシミュレートする機能を1モデルが担います。
アクションはモデルを双方向に流れます。
- 前向き: アクションの影響を予測
- 逆向き: 結果からアクションを逆推論
現在の状態 → アクション + 視覚的結果 というシンプルな入出力インターフェイスで、世界モデリングをロボットポリシーの学習・評価に直接接続します。
実装例として、DROIDデータセットでポストトレーニングされた**Cosmos 3 Edge Policy (DROID)**が同時公開されています。ピック＆プレイスタスク向けのロボット操作ポリシーで、ポストトレーニングスクリプトも提供されます。
ポストトレーニングによる性能改善
ベースモデルに加え、参照用のポストトレーニング済みチェックポイントとトレーニングレシピが公開されます。Cosmos 3はオープンな世界基盤モデルプラットフォームであり、高品質なドメイン固有データでポストトレーニングすることで、専門アプリケーション向けの精度が継続的に向上します。
注目すべき追加リリースとして、Cosmos 3 Super 4-Step Distillationチェックポイントがあります。
- 拡散の35〜50ステップのノイズ除去をわずか4ステップに削減
- 推論速度を最大25倍高速化
- 画像・映像の品質と忠実度を維持
- 64Bモデルを独自ドメインに適応させる参照実装として利用可能
オープントレーニングスクリプトを使えば、Cosmos 3 Edgeをカスタムロボットポリシー向けにポストトレーニングしたり、Cosmos 3 Superをアプリケーション固有の高速画像・映像生成向けに蒸留したりすることが可能です。
今後のロードマップ
NVIDIAはCosmos 3の物理AI向け開発を継続しており、以下の改善を予告しています。
- インタラクティブな世界生成の強化
- 自動運転シナリオシミュレーション
- ロボティクスポリシーの拡充
推論の高速化とポストトレーニングの効率化も幅広いハードウェア向けに進められており、vLLMをはじめとするオープン推論・最適化フレームワークによるCosmos 3チェックポイントの最適化が予定されています。
モデルへのアクセス
- Cosmos 3 Edge モデル: https://huggingface.co/nvidia/Cosmos3-Edge
- Cosmos 3 コレクション: https://huggingface.co/collections/nvidia/cosmos3