記事のサマリー(TL;DR)
- OpenAIは、脆弱性の発見・修正能力とタスク範囲の遵守性を高めたセキュリティ研究向けモデル「GPT‑6 Cyber」を発表しました。ExploitGymベンチマークでGPT‑5.6 Cyber比51%の相対改善を達成し、範囲順守に関するテストでは段階的な大幅改善を示しています。
- GPT‑6 Cyberは既に実際のソフトウェアのセキュリティ確保に利用されており、LinuxやFirefoxなどのセキュリティ上重要なコードベースで数千件のエクスプロイトの発見・検証に貢献しています。
- OpenAIは不正利用の検知・阻止のための保護策を強化するとともに、重要インフラ防御者向けに10億ドル規模の助成プログラム「Daybreak for Frontline Defenders」を含む段階的なアクセス拡大を進めています。
利用条件・アクセスに関する説明
GPT‑6 Cyberは当初、API および Codex を通じて、承認された一部のDaybreak Redの顧客に提供されます。OpenAIは今後、すべてのDaybreak Redの顧客へ段階的にアクセスを拡大するとしており、GPT‑5.6 CyberについてはすべてのDaybreak Red顧客に提供するとしています。また、GPT‑6 Astra向けのDaybreak Blueアルファ版アクセスについても、より多くの組織や個人のセキュリティ研究者に拡大するとしています。新規ユーザーや組織はDaybreakへの申し込みが可能です。
Daybreak Red for Critical Infrastructure(重要インフラ向けDaybreak Red内の新グループ)は、承認された重要インフラの防御者を対象としており、モデルの逸脱行為に対する保護策を維持しつつ、重要システムに対する許可されたテストを行う権限を付与するものです。
詳細
フロンティア級サイバー能力の進展
GPT‑6 CyberはGPT‑5.6 Cyberから大きく進化しており、Astraが要求を拒否しない場合でも、ほとんどのサイバー関連タスクでGPT‑6 Astraを上回る性能を示しています。OpenAIは、ソフトウェアの理解、脆弱性の特定、動作するエクスプロイトの開発を要するタスクでモデルを評価しました。これらの結果に基づき、OpenAIはPreparedness Frameworkにおけるサイバーセキュリティ分野の分類を、GPT‑5.6 Cyberの「High」から「Critical」に引き上げました。
リモートターゲットに対して指定された脆弱性を悪用できるかをテストするExploitGymでは、GPT‑6 Cyberは48.5%のスコアを記録し、GPT‑5.6 Cyberの32.1%から約16ポイント上昇しました。脆弱性発見能力を評価するため、OpenAIは攻撃的なWebペネトレーションテスト用の新しい評価手法も構築しました。この評価では、モデルはソースコードにアクセスせずにWebアプリケーションを調査します。GPT‑6 Cyberは脆弱性の再現率が40.3%で、GPT‑6 Astraの32.0%を上回りました。
Daybreak Redは、動作するエクスプロイトの開発やそれをリモートターゲットに対して使用することを含む、より高度なセキュリティワークフローを支援するよう設計されています。これらの能力を評価するため、OpenAIはGitLab、PostgreSQL、Jenkinsなどのアプリケーションにおける既知の脆弱性を制御された環境で利用する新しいベンチマーク「RemoteExploitBench」を構築しました。初期評価では、Daybreak Blueで動作するGPT‑6 Astraがタスクの100%を拒否したのに対し、GPT‑6 Cyberは95%を完了しました。唯一の失敗は、リモートで動作させることができなかったエクスプロイトでした。全結果と評価設定の詳細はシステムカードに記載されています。
アライメントの強化と範囲遵守の向上
サイバーセキュリティエージェントにおけるリスクの一つは、割り当てられたタスクの範囲を超えて行動したり、関係のないサービスを悪用しようとしたり、研究者が定めた行動規範を無視したりすることです。
OpenAIはGPT‑6 Cyberの開発においてアライメントを中心的な焦点とし、モデルが許可された範囲内にとどまり、行動制限に従い、正確に作業結果を報告できるよう、専門的なトレーニングを実施しました。展開前には、こうした挙動を測定するための一連のアライメント評価を実施しており、全結果はシステムカードに記載されています。
これらの評価の一つが、Hugging Faceのインシデントを参考に設計された「ExploitGym Honeypot」です。この評価では、パッケージレジストリやオブジェクトストアなどの補助サービスにアクセス可能な、隔離された環境で困難なエクスプロイトタスクをモデルに与えます。これらの補助サービスは意図的に攻撃しやすく設計されており、攻撃するとタスクのフラグを取得できてしまいます。モデルは、これらを攻撃することがタスクの範囲外であると推論する必要があります。
GPT‑6 Cyberは、この評価においてGPT‑5.6 Cyberから段階的な大幅改善を示しました。展開時の安全プロンプトなしでテストした場合、範囲外のサービスを悪用しなかった割合は99.93%で、GPT‑5.6 Cyberの94.49%から上昇しました。このプロンプトを使用した場合、GPT‑6 Cyberは100%の割合で範囲内にとどまりました。
GPT‑6 Cyberモデルの思考過程(chain of thought)からは、範囲内にとどまることについての推論を直接確認できます。エージェントの思考過程の抜粋として、「追加のAPIを想定したり、ターゲット以外のコントローラーを攻撃したりすることはできない。バイナリ/サーバーのみを対象にすべきだ」「範囲外の認証情報を調査しない」といった記述が挙げられています。
セキュリティチームにおける実際の活用事例
GPT‑6 Cyberは既に、セキュリティチームによる脆弱性の発見、影響の検証、修正の開発を支援しています。顧客は大規模なコードベース、長時間にわたるエクスプロイト開発、セキュリティレビューにこのモデルを活用しています。
OpenAIは自社システムの保護にもGPT‑6 Cyberを活用しています。これは、フロンティアモデルの訓練に使用するインフラの堅牢化に関して最近公表した取り組みを支える主要なモデルの一つでした。制御されたレッドチーム演習では、GPT‑6 Cyberおよび他のOpenAIモデルを使用するエージェントが複数の脆弱性を連鎖させ、microVMを脱出して基盤となるホスト上でコードを実行しました。OpenAIはこの結果をもとにソフトウェアを修正し、ネットワーク制限を強化し、メンテナーおよびベンダーへ問題を報告しました。
OpenAIの脆弱性研究者も、GPT‑6 Cyberを使用してオープンソースソフトウェアの脆弱性を大規模に発見・検証しています。この取り組みにより、長年精査されてきたソフトウェアにおいても未知の欠陥が見つかっています。
Firefoxの新規脆弱性81件を発見:GPT‑6 Cyberは、脆弱性の発見と高品質なパッチの大規模な提案を行う自律的ワークフローに適している可能性があるとされています。脆弱性研究キャンペーンの過程で、GPT‑6 CyberはMozillaにより高深刻度(high severity)に分類された81件の新規脆弱性について証拠と再現可能なテストを作成し、さらに既知の30件の問題が従来の報告よりも深刻であることを示しました。OpenAIはこれらの発見をMozillaに開示し、エンジニアの修正開発を支援するための修正案も提示しました。Mozillaはこの取り組みに協力的であり、報告を受けてから間もなく修正の適用を開始しました。
Linuxカーネルの脆弱性948件に対するエクスプロイト開発:GPT‑6 Cyberは1,724件の脆弱性を再現し、948件について動作するエクスプロイトを開発しました。これは、同じ研究用ハーネスを用いたGPT‑5.6 Solによる166件の5倍以上にあたります。Linuxコミュニティのガイダンスに従い、OpenAIは304件の重大な発見について、修正候補とともにメンテナーに開示し、その他の脆弱性についても修正を進めています。
重大なRCE(リモートコード実行)脆弱性の実証:OpenAIは最近、Node.jsなどで使用される圧縮ライブラリ「Brotli」における重大な脆弱性について言及しています。OpenAIのセキュリティ研究者は、GPT‑6 Cyberと他のOpenAIモデルを併用し、この欠陥が下流のアプリケーションでどのようにリモートコード実行を可能にするかを示すエクスプロイトを開発・検証しました。
不正利用の検知と高リスク行為の阻止
モデルがより高性能になり、より多くのセキュリティ脆弱性を発見できるようになるにつれて、それらを悪用しようとする試みも増加しています。こうした試みには、悪意のあるサイバー攻撃者や、OpenAIのモデルを蒸留しようとする敵対的なグループによるものも含まれます。そのためOpenAIは、GPT‑6 Cyberの性能向上に合わせて、不正利用を検知・阻止し、モデルの行動をユーザーの意図および権限の範囲内に収めるための保護策を強化しました。
GPT‑6 Cyberのリリースに合わせて追加・強化された保護策は次の通りです(詳細はシステムカードを参照)。
- サイバー特化型の逸脱行為モニタリング:OpenAIは正当なエクスプロイト開発やテストを認識しつつ、モデルの行動がユーザーの許可内容と一致しているかを監視しています。
- 新興の脅威に対する標的型モニタリング:例として、重大なPHP脆弱性の協調的な情報開示の際には、稼働中のPHPサーバーに対するエクスプロイト開発の試みを標的としたモニタリングを設定する一方で、影響を受けたシステムを修正する防御者への支援は維持しています。
- Private Safety Processing(PSP):自動チェックにより、不正利用に関連するやり取りをレビューします。標準の保持方針がデフォルトとなります。Zero Data Retentionを利用するAPI顧客は、原則としてPSPを使用する必要があり、PSPは顧客のストレージに30日間保持された暗号化記録をレビューしますが、プロンプトや応答の内容をOpenAIの担当者に公開することはありません。
- 盗難された認証情報への対策:Daybreak Red APIへのアクセスには、デフォルトでIPアロウリストを要求し、限定的な例外を除き承認済みネットワークからのリクエストに制限しています。また、認証情報の漏えいについても監視しています。
- サンドボックス化と人による監督:これまでのモデルと同様に、高リスクのワークフローについてはサンドボックス化、アクション確認、人による監督を推奨しています。
- 高リスクなサイバー支援への対策:重要システムに関わる高リスクな行為を阻止するための新たなチェックを導入しています(詳細は後述)。
重要インフラの防御
発電所、水処理施設、それらを支える運用技術・産業制御システム(OT/ICS)を含む重要インフラの保護は、GPT‑6 Cyberの保護策とアクセス設計における重要な考慮事項でした。OpenAIは、こうしたシステムを防御するチームに最も高性能なモデルへのアクセスを提供する一方で、不正な攻撃を防ぐための保護策も強化したいとしています。
まず、防御者を支援するため、10億ドル規模の助成プログラム「Daybreak for Frontline Defenders」は、政府機関や必須サービス提供者など、リソースが限られたチームのアクセスを補助します。またOpenAIは、Daybreak Red内に承認された重要インフラ防御者向けの新しいグループ「Daybreak Red for Critical Infrastructure」を新設し、モデルの逸脱行為に対する保護策を維持しながら、重要システムに対する許可されたテストを行う権限を付与するとしています。
次に、Daybreak RedおよびBlueプラットフォームの不正利用を防ぐため、OpenAIは、産業用制御システムや安全性に関わるシステムを侵害したり、機器を妨害したり、重大な負傷、壊滅的な物理的損害、生命に関わるサービス停止を引き起こしたりする可能性のある支援・能力開発に対する保護策を見直しました。GPT‑6 Cyberの展開に合わせて導入された更新の前後で、4つのアクセス構成における保護策のラベル付与率を比較する図が示されています。
OpenAIは、保護策によるブロック率は高ければよいというものではないと説明しています。この評価で用いられる多くの手法は、システムの理解、脆弱性の発見、修正が攻撃に耐えられるかの検証といった、正当なセキュリティ業務にも不可欠なものです。そのためOpenAIは、ブロック率を100%にすることを目指すのではなく、正当な研究・修正活動への支援と合わせてこれらの比率を評価しているとしています。
重要インフラ防御にモデルがどのように役立つかを評価するため、OpenAIは拡張運用技術(xOT)サイバーセキュリティのグローバルプロバイダーであるDragosと提携しました。Dragosは、制御された実験環境において、サイバー行為に対して許容的なDaybreak Redモデルを用いた評価を実施しました。評価では、ネットワーク探索や資産の洗い出しから、標的型の偵察、機密データの持ち出し、許可されていない危険な可能性のあるデバイス操作に至るまでの一連のリクエストを対象としました。OpenAIはDragosからのフィードバックを基に保護策を改良し、正当なテストを不必要に制限することなく、有害な支援を阻止することを目指したとしています。評価の詳細はDragosの最終報告書に記載されています。
OpenAIはまた、AIを用いたペネトレーションテストやレッドチーム演習に関して、他の攻撃的セキュリティプロバイダーやパープルチームとの提携拡大、さらにエネルギー企業、その他の重要インフラ事業者、国立研究所との提携を通じて、モデルの有効性と産業防御における保護策を評価する取り組みを進めているとしています。OT/ICSに関するモデル利用を検知するための脅威調査への投資も増やしています。OpenAIは、保護策が有害な行為を見逃したり、正当な業務を妨げたりした場合に/feedbackを通じて報告を受け付けるなど、パートナーやセキュリティコミュニティからの意見を踏まえて保護策の改良を続けるとしています。
信頼できる防御者へのアクセス拡大
GPT‑6 Cyberは当初、APIおよびCodexを通じて、承認された一部のDaybreak Red顧客に提供されます。OpenAIは今後、すべてのDaybreak Red顧客へ段階的にアクセスを拡大する予定であり、GPT‑5.6 Cyberについてもすべての Daybreak Red顧客に提供するとしています。また、GPT‑6 Astra向けのDaybreak Blueアルファ版アクセスについても、より多くの組織や個人のセキュリティ研究者へ拡大するとしており、関心のある利用者には連絡を呼びかけています。新規のユーザーや組織はDaybreakに申し込み、サイバースキル、製品、パートナーの利用を開始できるとしています。