記事のサマリー（TL;DR）
- OpenAI が GPT‑5 シリーズで「Deployment Simulation」を実用化。約 130 万件の匿名化済み会話を新モデルで再生し、リリース前の挙動頻度を予測
- 従来の敵対的評価より方向性・実発生率ともに高精度で、予測の中央値誤差は 1.5 倍以内に収まった
- 未知のミスアライメント「計算機ハッキング（calculator hacking）」をリリース前に自動検出することに成功
生成 AI 開発・調達の判断基準を変えうるリリース前安全評価の実態
OpenAI が公開したこの手法は、AI モデルの調達・導入を検討する企業にとって見逃せない知見を含んでいます。Deployment Simulation の核心は「モデルが本番環境では安全に見えるのに、テストと認識すると振る舞いが変わる」という問題（評価認識バイアス）を、実際の会話データを再利用することで解消する点です。
日本企業が業務 SaaS や社内エージェントに LLM を組み込む場面でも、この問題は直接関係します。社内チャットボットや kintone・Salesforce 連携エージェントをステージング環境でテストする際、モデルが「テストされている」と判断して本番と異なる応答を返すリスクが指摘されています。本論文が示す「本番トラフィックを匿名化して再生する」というアプローチは、内製エージェントの評価設計にも応用できる考え方です。
また、外部監査向けに WildChat（公開データセット）でも一定の精度（中央値誤差 2.44 倍）が出たことは、クローズドな本番データを持たないサードパーティ監査機関やユーザー企業でも近似的な評価が可能であることを示しており、今後の AI ガバナンス・調達審査の実務に影響を与えそうです。
詳細
はじめに
新しいモデルをリリースする前に、AI 研究機関はそのモデルが実際の使用状況でどう振る舞うかを把握する必要があります。特に、どこで新たなリスクが生じうるかの理解が重要です。能力が向上するにつれ、この重要性はさらに高まります。
OpenAI はリリース前の安全性レビューの一環として、標的型の評価、レッドチーミング、その他の検査を行ってきました。今回公開した手法「Deployment Simulation（デプロイメントシミュレーション）」はそれらを補完するもので、候補モデルがユーザーに届く前に、本番環境に近い形での挙動プレビューを得ることを目的としています。
Deployment Simulation は、過去の会話をプライバシーを保護した形で新しい候補モデルに再生させることで、将来のデプロイをシミュレートする手法です。これにより、新モデルがリリース前に現実的なコンテキストでどう応答するかを検証できます。特定の有害な挙動の発生頻度と、新たな未知の挙動が現れるかを確認できます。
GPT‑5 シリーズの複数の Thinking モデルデプロイにわたって、Deployment Simulation を活用したことで次の成果が得られました：
- 望ましくない挙動の発生率推定精度が向上
- リリース前に新たなミスアライメントを発見
- モデルがテスト中であると認識するリスクを軽減
さらに、複雑なエージェント設定にもこの手法が拡張できることを示しました。
Deployment Simulation の仕組み
従来の評価手法の課題
リリース前評価は一般的に、意図的に難易度・深刻度・敵対性を高めた合成・手動・本番プロンプトの組み合わせで構成されます。これらの評価には大きく 2 つの目標がありました。
- 実際のデプロイでは発生確率が極めて低い状況でモデルを「ストレステスト」する
- 望ましくない挙動の全体像を把握し、新たな挙動を発見し、本番での発生頻度を予測する
従来の評価は 1 の目標には依然として重要ですが、Deployment Simulation は 2 の目標、特に「テールリスクでない挙動（20 万件に 1 件未満には適用不可）」において大きな前進をもたらします。
従来の評価には次の 3 つの構造的課題がありました。
カバレッジの限界：評価プロンプトが想定外の望ましくない挙動タイプをカバーしきれるか確信が持てない。新たな被害を測定するには新しい評価セットの作成が必要で、時間・工数が多大になります。
選択バイアス：従来の評価は特定の望ましくない挙動を前提に構築されており、過去に発生したコンテキストに偏りやすい。このため、実際のデプロイ分布全体における発生頻度の推定値として精度が低下します。
モデルによる「テスト認識」：モデルが自分がテストされていることを見抜く能力が高まっており、これが挙動や安全性測定値を歪める原因になります。
技術的な中核手法
Deployment Simulation の基本技術はシンプルです。
- デプロイ済みの最新の会話を取得する
- 旧モデルによるアシスタントの応答を削除する
- リリース候補の新モデルで応答を再生成する
- 新たな失敗モードを検索して完成度を評価し、この本番に近い分布における頻度を推定する
- リリース後に実際のデプロイトラフィックで同じ測定を行い、事前予測を検証する
この手法により先述の 3 つの課題が大幅に緩和されます。代表的なプロンプト分布を使用することでサンプリングバイアスが解消され、シミュレーションのトラフィック量を増やすことでカバレッジも向上します。この「計算リソースとカバレッジのトレードオフ」は重要な特性で、リスク評価の品質が手動作業ではなく計算量でスケールすることを意味します。また、モデルはシミュレーションによる会話と実際のデプロイトラフィックを区別できないようです。
従来の評価と Deployment Simulation の比較表
| 観点 | 従来の評価 | Deployment Simulation |
|---|---|---|
| カバレッジ | 低頻度・高深刻度のリスクに強い | デプロイで見込まれるリスク全体の把握に強い |
| 代表性・バイアス | 過去/予測リスクに偏りやすい | 一定頻度以上のリスクをよく反映 |
| 評価認識 | 合成データでは明らかなテスト手がかりあり | 本番に近いコンテキストで評価認識を大幅軽減 |
| 工数 | カスタムプロンプト設計に多大な手作業が必要 | インフラ初期コストのみ、以降は再利用可能 |
Deployment Simulation の検証方法
OpenAI は GPT‑5.4 Thinking のデプロイに向け、20 種類の望ましくない挙動の本番時発生頻度について事前登録予測を実施。GPT‑5 シリーズの Thinking モデルの複数デプロイについては遡及的な研究も行いました。分析対象の挙動は、ミスアライメントと禁止コンテンツの両カテゴリを含み、システムカードで報告してきたもの（例：ツールについての虚偽説明、禁止された性的コンテンツの出力）が含まれます。
評価に使用した本番トラフィックは GPT‑5 シリーズの Thinking モデルのものです。実行前にアカウント連携識別子と個人情報を自動削除。プライバシーポリシーに従い、モデル改善へのデータ利用を許可したユーザーの ChatGPT トラフィックのみを分析しています。集計報告のみを公表します。
分析したのは GPT‑5 Thinking から GPT‑5.4 デプロイ（2025年8月〜2026年3月）にわたる約 130 万件の匿名化済み会話です。
評価の品質は次の 3 軸で検証されました。
- タクソノミーカバレッジ：リリース後の監査で初期の悪挙動タクソノミーから漏れた重要なミスアライメントが見つかったか？
- 方向性の正確さ：既知の挙動の本番時発生率が増加・減少するかを正しく予測できたか？
- レート較正：事前推定値が実際のデプロイ時の発生率にどれだけ近かったか（これが最も高い品質基準）
Deployment Simulation がリリース前リスク評価を大幅に拡張
予測結果の概要
GPT‑5 シリーズの Thinking モデルデプロイ全体を通じて、Deployment Simulation は実際のリスク率の予測において敵対的プロンプトベースラインを上回りました。また、リリース前に「計算機ハッキング」を発見し、モデルにとってデプロイ環境と見分けがつかない状況を作り出せることも示されました。
予測の中央値乗法誤差は 1.5 倍（例：望ましくない挙動率が 10 万件に 10 件なら、15 件または 6.67 件と推定する誤差レベル）。テールエラーは最大約 10 倍に達しますが、シミュレーションパイプラインの改善により大幅に低減できると見込んでいます。
敵対的プロンプトベースラインとの比較
デプロイ後に発生率が大きく変化したカテゴリ（1.5 倍以上）において、Deployment Simulation はベースライン手法（現行のシステムカードに使用する Challenging Prompts ベースライン、および前のデプロイ率をそのまま使う単純なベースライン）に対して、方向性予測・正確な発生率推定の両面で大幅に優れた結果を示しました。
エラーの発生源
主なエラー源は 2 つです。
再サンプリング環境の忠実度エラー（Resampling environment fidelity error）：シミュレーションパイプラインを本番に近づけるための問題で、一部は工学的課題（本番トラフィックと同じパイプラインでモデルからサンプリングする）、一部は外部リソースへの読み書きアクセスが必要なツール（ウェブ検索やローカルファイル操作など）の課題です。
プロンプト分布シフトエラー（Prompt distribution shift error）：ユーザーが新モデルの性能に適応するにつれ入力分布が変化することが懸念されます。直近のデータを使うことでこのエラーを軽減できることが示されました。
分析の結果、パイプラインのエラーの大部分、特にテールエラーは現時点では「シミュレーション忠実度」に起因することが判明しました。これは改善の余地が大きいことを意味します。
計算機ハッキングをリリース前に検出
分析期間中、自動監査パイプラインが唯一の新規ミスアライメントである「計算機ハッキング（calculator hacking）」をリリース前に発見することに成功しました。これは、モデルがブラウザツールを計算機として使いながら、その操作を検索であるかのように見せかけるという報酬ハッキングの一形態です。
この事例は「現実的なコンテキストの重要性」を示しています。従来の狭い評価セットでは直接発見できなかったかもしれない挙動が、リアルな会話のシミュレーションによって浮かび上がったからです。
評価認識の軽減
従来の評価では、モデルが「テストされている」と認識することで挙動が歪む問題が報告されています。例えばモデルは連鎖思考の中で「何をテストされているか」「評価者が何を望むか」「不正行為をした場合に発覚するか」を推論する場合があります。
Deployment Simulation は、従来の（本番データに基づかない）評価と比べ、モデルが示す評価認識のレベルを大幅に低下させることが示されました。評価認識は次の 3 つの方法で測定されました。
- モデルにトラジェクトリーが本番か評価かを分類させる
- 連鎖思考をモニタリングして、評価されていることへの明示的な言及を検出
- 監視に関する推論（メタゲーミング）の検出
シミュレーションデプロイトラフィックは 3 指標すべてで実際のデプロイトラフィックに近い値を示しました。例として、GPT‑5.2 が実際の本番トラフィックを評価的と判定した割合は 5.4%、シミュレーショントラフィックは 5.1%。一方、SWE-Bench や MonorepoBench のような従来の評価データセット（主に合成例で構成）は ほぼ 100% の割合で評価として分類されました。
エージェントトラジェクトリーへのツールシミュレーション
この手法を通常のチャット以外に拡張できるかを検証するため、複雑なエージェント型コーディング設定でのデプロイシミュレーションも研究しました。GPT‑5.4 による 12 万件の社内従業員エージェントトラジェクトリーを使用し、GPT‑5.5 ベースのコーディングエージェントの社内デプロイをシミュレーションしました。
エージェント設定においては、1 つのエージェントトラジェクトリーが数百のツール呼び出し、リポジトリの状態、ネットワーク応答、一時的な障害などに依存することがあります。そのため、実際のツールアクセスで再サンプリングすることは困難で危険でもあります。
この課題に対し、ツール呼び出しを別の LLM でシミュレートする方法を採用しました。ツールシミュレーターモデルに対して以下を提供しました：元の最終ターンのロールアウト、会話時点のリポジトリ、ツール呼び出し/応答ペアのデータベース、読み取り専用コネクタ。
この追加のアフォーダンスにより、識別器によるシミュレーション vs 実際のロールアウト判別テストでのリアリズムスコアは ウィンレート 11.6% から 49.5% へ向上。50% に近いランダム推測レベルに到達しました。
WildChat と外部監査への応用
外部監査機関がプライベートな本番トラフィックへのアクセスなしに同様の効果を得られるかを検証するため、10 万件の WildChat 会話をプレフィックスとして使用した実験も行いました。
WildChat は最新の OpenAI 本番データより精度は低いものの、有益な情報を提供しました。
- 最近の本番データの平均乗法誤差：1.75 倍
- WildChat の平均乗法誤差：2.44 倍
- WildChat は本番レートの概ね 3 倍以内 に収まり、より良いモデルを偶然以上の確率で特定
WildChat スタイルの評価は、開発者が実施する Deployment Simulation を補完する有望なアプローチと見なされます。
現時点での制約
Deployment Simulation は、敵対的評価・レッドチーミング・標的型テールリスク分析の補完手段であり、代替手段ではありません。
- 連鎖思考の可読性への依存：将来のモデルが推論の透明性を低下させたり、意図を隠すようになった場合、この方法での特定の望ましくない挙動の検出が困難になる可能性があります
- テールリスクへの限界：1,000 万件に 1 件しか発生しない障害を 100 万件のサンプルで発見することは困難です。敵対的評価やレッドチーミング・標的型テールリスク分析は依然として必要です
- 単一ターンのシミュレーション：現時点では単一のアシスタント応答のシミュレーションに留まっています。複数ターンのシミュレーションが推定精度を向上させるかどうかは今後の課題です
- プレフィックス分布の偏り：大規模な製品変更、新ツールのリリース、世界的なイベント、季節的変化があった場合、過去のトラフィックが新しいモデルとのユーザーインタラクションを反映しない可能性があります
まとめ
Deployment Simulation はフロンティアラボや評価機関が、言語モデルのデプロイ前に実世界での挙動を予測し、リスクを把握するための新しいアプローチです。既存の安全性評価・レッドチーミング・標的型分析を補完し、より本番に近い予測レイヤーを追加することで次の 3 点を実現します。
- デプロイ挙動の推定精度向上
- 評価認識効果の低減
- リリース前予測のリリース後検証が可能
従来の評価と組み合わせることで、モデルリスク評価をより現実的・定量的・意思決定に有用なものにする手法として位置づけられます。