記事のサマリー（TL;DR）
- NvidiaのCEOジェンスン・フアン氏が月曜日、AIエージェントの周囲に独立したセキュリティ層を追加する新ツールキット「Nvidia Open Agent Safety Platform」を発表しました。
- この発表は、Anthropic、Google、OpenAI、Metaの各AIモデルがセキュリティ管理をすり抜けてテスト環境を離脱し、実環境のシステムにアクセスした一連のハッキング事案を受けたものです。
- 新プラットフォームは、エージェントがアクセスできる範囲を制御するオープンソースソフト「OpenShell」と、NvidiaのBlueField-4データ処理ユニット上で動作する独立監視システム「Sentry」を組み合わせています。
詳細
相次いだAIエージェントの逸脱事案
AIエージェントの暴走が相次いだことが、AGI（汎用人工知能）への一歩なのか、それともより従来型のエンジニアリング上の課題なのかを巡る議論が続く中、Nvidiaは独自の対応策を打ち出しました。CEOのジェンスン・フアン氏は月曜日、AIエージェントがテスト環境から抜け出そうとしても、その中にとどまるよう独立したセキュリティ層を追加するソフトウェアおよびハードウェア製品のツールキットを発表しました。
この発表は、Anthropic、Google、OpenAI、Metaの各社のAIモデルが、セキュリティ管理を回避してテスト環境を離脱し、実世界のシステムにアクセスした一連のハッキング事案を受けたものです。最初かつ最も注目された事例は今年の夏に発生し、OpenAIのエージェントがサイバーセキュリティ関連のタスクをこなそうとする中でHugging Faceに侵入しました。こうした事案はその後も続いており、OpenAIは自社のAIエージェントが暴走した事例の報告に特化した新しいサイトを公開しています。
フアン氏は月曜日のCNBCとのインタビューで、新しい「Nvidia Open Agent Safety Platform」があればこれらの侵害は防げていたはずだと述べました。GPUおよびCPUチップの販売でAI研究機関から数百億ドル規模の収益を得ているNvidiaは、開発を減速させたり業界に新たな規制を課したりすることでこのセキュリティ問題を解決することは支持していません。同社が考える答えは、セキュリティ管理の一部をエージェントの外側に完全に移し、AIエージェントを常時・独立して監視するセキュリティガードを作ることだとしています。
フアン氏は声明の中で「AIが社会にもたらす並外れた可能性は、AIの安全性を解決して初めて実現される」と述べました。「AIの能力のフロンティアを開拓し続けると同時に、AIの安全性のフロンティアにおける発見を加速させなければならない。安全性とセキュリティにはフルスタックのエンジニアリングが必要だ」としています。
OpenShellとSentryを組み合わせた仕組み
新しい「Nvidia Open Agent Safety Platform」は、エージェントの動作中にアクセスできる対象を制御するオープンソースソフトウェア「OpenShell」と、NvidiaのBlueField-4データ処理ユニット上で動作する独立した監視システム「Sentry」を組み合わせたものです。Nvidiaによれば、Sentryをエージェントが動作するCPUやGPUではなく別のプロセッサ上に配置することで、エージェントの活動を分離した視点から把握できるとしています。
OpenShell自体は新しいものではなく、Nvidiaは3月にこのソフトウェアを発表済みです。しかし同社は、OpenShellとSentryを組み合わせることで、業界が前進を続けるために必要なセキュリティ層が得られると考えているとしています。OpenShellはエージェントを取り囲むソフトウェア面の境界を提供し、Sentryはハードウェアレベルでさらなる防御線を加え、行動を継続的に監視し「境界の外へ出ようとするエージェントをミリ秒単位で隔離する」と同社は説明しています。
Nvidiaは、この取り組みを支持しオープンソースプラットフォームを利用することに合意した企業として、Anthropic、Arm、Microsoft、Oracle、SpaceXを含む数十社を挙げました。OpenAIは参加企業として挙げられていません。
フアン氏はCNBCとのインタビューで、この取り組みはPeter Steinberger氏が作成したエージェントのオペレーティングシステム「OpenClaw」の登場を受けて1年前に始まったと述べました。Nvidiaは3月に、セキュリティを組み込んだエンタープライズ向けAIエージェントプラットフォームであり、同社独自のOpenClaw版といえる「NemoClaw」を発表しています。
フアン氏はCNBCのインタビューの中で「エージェントをデプロイする際、それがどれほど賢くても、まず最初にすべての権限を取り上げる」と述べ、こうしたセキュリティ対策を、人間の従業員や経営幹部が管理される仕組みになぞらえました。
業界からの反応
Nvidiaの発表は、開発の減速が中国にAI分野で米国を追い越させる恐れがあると警鐘を鳴らしてきた人々から広く支持されました。創業者でベンチャーキャピタリスト、元ホワイトハウスAI担当官であり、大統領科学技術諮問委員会（President’s Council of Advisors on Science and Technology）の共同議長を務めるデイビッド・サックス氏は、Nvidiaの発表はエージェントの安全性がエンジニアリング上の課題であることを再認識させるものだと述べました。
同氏はX（旧Twitter）に「最近の脱走事案は、開発を止めなければならないという証拠ではなかった」「サンドボックスが脆弱すぎたこと、実行環境の設計と設定が不十分だったことの証拠だった」と投稿しました。