記事のサマリー(TL;DR)
- Hugging Face上の資産ライブラリ「SimReady Central」のUR17Gアーム、Robotiq 2F-140グリッパー、飲料缶の各資産をIsaac Simに読み込み、ピック&プレース(つかんで運ぶ)タスクのシーンを組み立てる手順を紹介しています。
- 各資産はSimReady Foundationが定める「プロファイル」「機能」「要件」の3段階の仕様に基づき、衝突・質量・関節・関節駆動などのシミュレーション用プロパティがあらかじめ用意・検証されています。
- 例ではGPT-6 Solというエージェントを使い、Isaac Sim 6.2上でロボットの組み立て・検証・ピック&プレース制御コードの生成と実行を行っていますが、必要なスキルを読み込めてIsaac Simに対してPythonを実行できるなら他のエージェント・モデルの組み合わせでも動作しうるとしています。
事前に確認すべき条件
記事では、ピック&プレースを実行する前に次のソフトウェアとセットアップが必要だとしています。
- Isaac Sim 6.2(この例で使用したバージョン)をインストールし、システム要件を確認すること。
- Isaac Simのスキルを利用できる任意のエージェントをセットアップすること。付属スキルをエージェントから使えるようにするには、Agent Skillsのドキュメントに従う必要があります。
- コマンドラインでの資産ダウンロードを選ぶ場合のみ、Hugging Face CLIをインストールすること。
- USD Searchエンドポイントを使用すること。
また、資産フォルダは3つとも完全な状態で保持し、Isaac Simが付随ファイルを見つけられるようにする必要があるとしています。
詳細
ロボット資産を「SimReady」にする条件とは
SimReady Foundationは、OpenUSD資産がシミュレーション用途に必要とする機能を定義しています。仕様は次の3つの階層で構成されます。
- プロファイル:ロボット本体など、ある用途向けの機能群
- 機能:制御可能な関節など、用途に必要な能力
- 要件:関節の駆動設定など、各機能に必要な設定のチェック項目
今回のタスクでは、アームとグリッパーの関節、および飲料缶資産の衝突と質量がこれらのプロパティに含まれます。検証はこれらの設定をプロファイルの要件と照合して行われ、その後のシミュレーションで、組み立てたロボットがそれらの設定を使って缶を持ち上げて移動できるかどうかをテストします。
資産に含まれるものと、追加で用意するもの
UR17G、Robotiq 2F-140、飲料缶の各パッケージには、モデルとそのシミュレーション設定が含まれています。利用者はシーンを組み立て、アームとグリッパーのアセンブリ、作業面、開始位置、アームの移動およびグリッパーの開閉を制御するタスクコードを追加する必要があります。
SimReady Centralが資産モデルとシミュレーション設定を提供し、例として示すシーンと制御がピック&プレースのタスクを定義する、という役割分担になっています。
ピック&プレース実行前に確認すべきこと
ロボットはIsaac Sim内で静止中は視覚的に正しく見えても、シミュレーション実行時には想定と異なる動きや物体との干渉を起こすことがあるとされています。ピック&プレースを実行する前に、関節、動作、接触の挙動をテストすることが推奨されています。これらのテストはエージェントに依頼することも、Isaac Sim内で手動で行うこともできます。
- 関節設定:アームとグリッパーの関節の可動範囲と駆動設定を確認する。
- 動作:アームを小さく動かし、グリッパーの開閉をテストする。
- 接触:缶が作業面を貫通せず、その上に乗っているか確認する。
ピック&プレースの実行中は、アームの移動に伴い飲料缶がグリッパー内にとどまっているかを確認するよう求めています。資産の構造は個体によって異なるため、読み込んだシーン内の設定を出発点として使うべきだとしています。
Isaac Simでピック&プレース・シミュレーションを構築する
この例では、UR17Gアーム、Robotiq 2F-140グリッパー、飲料缶をIsaac Sim内で組み合わせます。タスクは、缶をつかみ、持ち上げ、目標位置まで移動させ、そこで離すというものです。OEMが提供するキュレーション済みコンテンツを探すために、SimReady Central Spaceの検索サービスエンドポイントも利用できるとしています。
この例ではフロンティアAIモデルを使ってタスクコードの作成と実行を補助しており、使用モデルはGPT-6 Solです。ただし、必要なスキルを読み込みIsaac Simに対してPythonを実行できるのであれば、別のエージェントとモデルの組み合わせでも動作する可能性があるとし、生成されるコードと結果は変動しうるとしています。記事では、示しているプロンプトはあくまで出発点であり、生成されたコードを確認し、挙動を検証したうえでタスクを調整するよう求めています。
必要なソフトウェア
- この例で使用したバージョンであるIsaac Sim 6.2をインストールし、システム要件を確認する。
- Isaac Simのスキルを使えるエージェントをセットアップする。付属スキルを利用可能にするには、Agent Skillsのドキュメントに従う。
- コマンドラインでの資産ダウンロードを選ぶ場合のみ、Hugging Face CLIをインストールする。
- USD Searchエンドポイントを使用する。
ステップ1:ロボットアーム、グリッパー、飲料缶の資産をダウンロードする
SimReady Centralを開き、この例で使用するUR17Gアーム、Robotiq 2F-140グリッパー、飲料缶を見つけます。各資産で「Download」を選択し、「Save to folder」または提供されるHugging Faceコマンドを使用します。Isaac Simが付随ファイルを見つけられるよう、3つの資産フォルダはすべて完全な状態で保持する必要があります。
この例でリンクされている資産バージョンを使用し、エージェントにはアーム、グリッパー、飲料缶のローカルUSDファイルパスを提供します。グリッパーのパス例は以下の通りですが、実際のダウンロード場所は異なる場合があります。
~/ASSETS/hf/src/simready-assets-c7fa7615/Robotiq_2F_140/simready_usd/Robotiq_2F_140.usda
飲料缶のダウンロードオプションには、資産パッケージをフォルダに保存する方法と、Hugging Face CLIを使う方法が含まれるとしています。
資産検証が示す内容
アームの検証レポートはRobot-Body 4.0.0プロファイルを、グリッパーの検証レポートはRobot-Gripper 3.0.0プロファイルを使用しています。いずれも、関節駆動設定を調べるPhysX駆動関節チェックに合格したことが記録されています。SimReadyのプロファイル検証は、これらの資産を再利用するための共通の基盤を提供するものだとしています。その後のピック&プレース実行では、アーム・グリッパー・缶・コントローラーが組み立てられたシーン内でどのように連携するかをテストします。
ステップ2:ロボットを組み立て、ピック&プレース用のシーンを構成する
資産のダウンロード後、Isaac Simのスキルを持つエージェントを使ってロボットの組み立て、検証ツールの実行、ピック&プレース制御の作成を行います。リンクされたドキュメントを使って、これらの手順を手動で行うこともできます。
エージェントがPythonを通じてシミュレーションを操作できるよう、リモートPythonサーバーを有効にしてIsaac Simをインストールディレクトリから起動します。
./isaac-sim.sh --enable isaacsim.code_editor.python_server
エージェントを使う場合は、以降の手順で必要なスキルにアクセスできるよう、Isaac Simのディレクトリからエージェントを起動する必要があるとしています。3つの資産すべてが欠落ファイルのエラーなく表示されることを確認します。アームとグリッパーの関節の可動範囲と駆動設定の検査はエージェントに依頼するか、自身でIsaac Sim内で確認します。ロボットとグリッパーが持つ物理関節は、Isaac SimのGUI上でもテスト・検証できるとしています。
続いて、アームとグリッパーを単一の関節構造(アーティキュレーション)として制御できるよう組み立てます。手動で組み立てる場合はRobot Assemblerチュートリアルに従うことができます。この例ではエージェントに組み立てと検証を依頼しています。
使用したサンプルプロンプト:
Assemble the robot arm <ローカルのSimReady UR17GロボットUSDへのパス> with the gripper <ダウンロードしたSimReady Robotiq_2F_140グリッパーUSDへのパス> using the Robot Assembly tutorial in Isaac Sim https://docs.isaacsim.omniverse.nvidia.com/6.2.0/robot_setup/assemble_robots.html. Validate the assembly on completion.
このエージェントは、Isaac Simに同梱された「isaac-sim-remote」と「usd-articulation」の各スキルを使って組み立てを完了し、ロボットの物理挙動を検証します。これにより、ピック&プレース実行に必要な資産(組み立て済みロボットと炭酸飲料の缶)がすべて揃います。
組み立てたロボットと缶をシーンに配置した状態で、エージェントにタスクの実行を依頼します。シミュレーションの挙動は次のステップのチェック項目を使って評価します。
ステップ3:制御をテストし、ピック&プレースを実行する
資産にシミュレーションプロパティとプロファイル検証が含まれた状態になったことで、組み立て済みのシーンとコントローラーでのテストが可能になります。コントローラーは、UR17Gアームの動きとRobotiq 2F-140グリッパーの開閉を連携させる役割を担います。エージェントが生成したタスクの評価には、以下の挙動チェックを使用します。コントローラー自体を理解・調整したい場合は、Adding a Manipulator Robotチュートリアルを参照するとしています。
使用したサンプルプロンプト:
Run pick and place with the assembled robot and soda can <SimReadyライブラリの炭酸飲料缶USDへのパス> in Isaac Sim. Ensure you do a contact based grasp for picking up the can and validate the accuracy/placement error for the pick and place as well.
使用スキル:「isaac-sim-remote」「manipulaiton-ik」「physics-simulation」
タスク全体では、アームの移動中にグリッパーが缶を保持し続け、目標地点で離すかどうかをテストします。シーンをリセットしたうえで、接近・把持・持ち上げ・保持・移動・解放という一連の動作を実行します。実行結果は、冒頭の動画および下記の成功基準と比較するとしています(動画は4倍速で示されています)。
実行結果が想定と異なる場合は、シーケンスのどこで失敗したかを記録し、エージェントにシーンの検査と制御の再生成を依頼します。結果を比較できるよう、再試行の前に缶とロボットを同じ開始状態にリセットする必要があるとしています。
シミュレーションの前提条件
- 固定されたセットアップ:缶は既知の位置から開始し、ロボットは固定され、作業空間は平坦で障害物がない状態です。視覚認識は使用しておらず、衝突チェックも限定的です。
- 簡略化された缶:変形や液体の動きはモデル化されておらず、この例では缶の潰れはテストしていません。
- スクリプト化された把持と動作:水平方向の把持では、シミュレーションのテストを通じて選択された2N·mの駆動トルク上限を使用しており、これは指先の力に合わせて調整されたものでも、メーカーが推奨する値でもありません。接触と摩擦によって、アームが再計画なしに固定のウェイポイントをたどる間、飲料缶が保持されます。ハードウェアの把持力に関する仕様はRobotiqの製品シートを参照するよう案内しています。
記事では、これらの結果はこのスクリプト化されたセットアップにのみ当てはまり、位置が不確かな物体や異なる積載物、実機ハードウェアへの頑健性を証明するものではないと明記しています。
次のシミュレーションをSimReady資産で構築する
記事では、SimReady Centralの資産を使って独自のピック&プレースタスクを構築し、任意のエージェントを使ってシーンの組み立てとIsaac Simでの実行を行うことを促しています。
資産を探す
- ロボットや物体を探す:Hugging Face上のSimReady Centralを閲覧する。
- 資産が対応する内容を確認する:SimReady Foundationのプロファイルと要件を、資産の検証レポートとあわせて確認する。
ピック&プレース・シーンを構築する
- シミュレーターをセットアップする:この例で使用したバージョンのIsaac Simインストールガイドに従う。
- エージェントを接続する:Isaac SimのAgent Skillsドキュメントに従い、付属スキルをエージェントで使えるようにする。
- ロボットを組み立てる:アームとグリッパーを手動で接続したい場合はRobot Assemblerチュートリアルに従う。
コンテンツを準備・提供する
- CADから始める:「5 Steps to Create SimReady Assets for Robotics」に従い、自身のロボティクス資産を準備する。
- 検証して提出する:SimReady Central提出ガイドに従い、自身の資産を他の開発者が利用できるようにする。
参考例として、Michael Wagner氏の音声操作VRデモや、Maziyar Panahi氏のMicroduckシミュレーションが挙げられており、いずれも開発者が自身のプロジェクトでSimReady資産をどのように使っているかを示すものだとしています。
記事はHugging Faceのコメント欄で、使用した資産とIsaac Simのバージョンを含め、構築したシーンと結果を共有するよう呼びかけて結んでいます。