記事のサマリー(TL;DR)
- OpenAIは、研究インフラ全体の推論ワークロードを追跡し、安全性やセキュリティ上の懸念が生じた際に素早く停止できる中央システム「Control Room」を構築しました。
- Control Roomは、モデル訓練・評価のためのエージェント的サンプリングやデータ処理など、あらゆる研究推論ワークロードと接続し、誤整合(misalignment)監視システムと連携して、介入を決定してから35秒以内にモデル出力を停止します。
- システムは他の仕組みが故障しても機能し続けるよう設計されており、Control Room自体が停止した場合にもモデル出力を止める「フェイルクローズ」方式を採用しています。フェイルクローズは現在すべてのフロンティアモデルの研究ワークロードに展開済みで、残りの研究ワークロードへの展開は今後数日で完了する予定です。
対象と前提条件
Control Roomは現時点でOpenAIの研究インフラ全体に展開されており、特に必要性が高い領域を優先して導入されています。外部向けのモデル提供スタック(model-serving stack)は、もともと構造上より中央集権的であり、必要に応じてモデルのデプロイを迅速に停止できる運用能力がすでに整備されているとしています。また、エージェント的推論を行うすべての研究ワークロードは、承認済みの安全性ケース(safety case)と紐づけられることが求められています。
詳細
Control Roomの仕組み
Control Roomは、次の3つの要素を統合することで機能します。
- ワークロード(workload):実行されるジョブそのもので、強化学習の実験、評価、大量サンプリングやデータ処理ジョブなどが該当します。
- 推論エンジン(inference engine、単に「エンジン」):モデル本体を指し、GPU上で直接動作する「モデルの頭脳」に相当します。1つのワークロードは通常、1つまたは複数のモデルを使用し、それらは1つまたは複数の異なる推論エンジン上で動作することがあります。同一の推論エンジンが複数の異なるワークロードから使用されることもあります。
- Control Roomサービス:ジョブを追跡し、そのジョブがモデル出力の生成を継続してよいかどうかを制御します。エンジンはリクエストを処理する前にControl Roomサービスに確認を行います。ジョブが停止されている場合、サービスはリクエストを拒否し、それ以上の出力を防ぎます。
Control Roomは以下の流れで統合されています。
- 新しいジョブを開始する際、ワークロード側のコードがControl Roomに新しいjob_idを要求します。
- ワークロードがモデルからトークンをサンプリングする必要がある際、そのモデルを動かしている推論エンジンにリクエストを送り、job_idを渡します。エンジンはそのjob_idをControl Roomに渡し、リクエストを実行する許可を求めます。
- Control Roomは当該ジョブが終了(terminated)扱いになっていないかを確認し、終了済みであれば推論リクエストを拒否します。エンジンはワークロードからの推論リクエストに対して拒否を返し、そのジョブに対するそれ以降のモデル出力の生成を停止します。
Control Roomの動作ステップ
ステップ1:研究者がジョブを開始する
プロセスは、研究者が実験や評価といったジョブを起動することから始まります。
例:監視アラートへの対応
OpenAIのすべてのフロンティア強化学習ジョブは、監視役(monitor)と共に実行されます。監視役とは、訓練対象のモデルが行っているすべての動作を監視し、問題を検知した場合にアラートを出す別のモデルです。たとえば、OpenAIが最近経験したDNS関連のインシデントは、この監視役によって検知されたとしています。
Control Roomと監視システムは、次のように連携しています。
- 監視システムが潜在的な問題を検知した場合、その内容や深刻度に応じて、監視システムがジョブの停止を決定することがあります。
- この場合、監視システムはjob_idを添えてControl Roomにジョブ停止のメッセージを送信します。Control Roomは当該ジョブを終了済みとして記録します。
- 同じjob_idを持つジョブが次に何らかのエンジン上の何らかのモデルからトークンをサンプリングしようとリクエストを送った際、そのリクエストは拒否され、それ以降のモデル出力が停止します。
速度と信頼性
Control Roomがジョブ停止の指示を受け取ってから、それ以上の処理の進行が不可能になるまでの最大時間は35秒です。この35秒の遅延は、必要なトラフィック量に対応するための推論認可のキャッシュ層に起因するものだとしています。OpenAIは、この時間をゼロに近づけ、ジョブを即座に終了できるようにする取り組みを進めているとしています。
実験や評価ジョブなどのワークロードは、通常、研究者個人または研究者チームが所有・運用しています。そのため、ワークロードのコードは頻繁に変更され、重要な安全対策を実装する場所として理想的ではありません。このため、OpenAIの実装は、不具合のある、あるいは壊れたワークロードのコードに対しても耐性を持つよう設計されています。
これは、終了メカニズムを推論レイヤーに実装することで実現しています。ワークロードのコードは多様で分散していますが、対照的に、OpenAIの研究全体で使用されている推論用のコードパスはごく少数に限られており、そのデプロイもより中央集権的かつ均一です。これにより、推論レイヤーを一種の「ボトルネック」として機能させ、研究で実行されるすべてのモデル推論が、あらゆる推論リクエストにおいてControl Roomの認可チェックを受けることを強く保証できるとしています。さらに、ユーザーが誤って、あるいは悪意を持って、Control Roomが未実装または無効化された不正なエンジン実装を起動していないかを確認するため、継続的にエージェント的・プログラム的な調査(sweep)を実施しているとしています。
最後に、このシステムは「フェイルクローズ(fails closed)」方式を採用しています。これは、システムエラーや、悪意ある第三者による改ざんを含むその他の理由によりControl Roomサービスが停止した場合、Control Roomが通常動作に復帰するまで、すべての推論リクエストが拒否されるように、エンジン側のControl Room統合が構成されていることを意味します。このフェイルクローズ方式は、現在すべてのフロンティアモデルの研究ワークロードに展開済みであり、残りすべての研究ワークロードへの展開は今後数日で完了する予定だとしています。
Control Roomは、安全なフロンティアモデルの訓練・展開に向けたOpenAIの包括的な取り組みの一部に過ぎないとしています。OpenAIは、誤整合行動やセキュリティ侵害の監視への投資と並行して、今後数カ月にわたりこのシステムを強化・拡張していくとしています。また、安全かつセキュアなAGIの開発・展開のためのシステム構築に携わりたい人材を募集しているとしています。