記事のサマリー（TL;DR）
- 157社の50%が「内部評価合格→本番で顧客障害」を過去1年で経験。25%は2回以上発生
- 自動評価を完全に信頼する企業はわずか5%。最大の不満は「実世界の結果と評価結果が乖離している」（29%）
- 66%がゼロ・ヒューマンインザループ本番デプロイを許可済み（34%）または12か月以内に許可予定（33%）
国内のAIエージェント開発・運用チームが直視すべき「評価ギャップ」の構造
本調査はVentureBeatが2026年6月に実施した単一波の定点調査（n=157、従業員100名以上の企業）であり、技術リーダーがエージェントのパフォーマンスをどう評価するかを体系的に問うた最新データだ。回答者の38%がAI購買の最終意思決定者、34%が推薦・影響者であり、現場感のある上位職層の声を反映している。
日本企業への直接的な示唆として着目すべきは二点ある。第一に、kintone・Salesforce・freeeといった業務SaaSにエージェントを接続する構成が普及しつつある中、評価基盤が整わないまま自律処理を拡大すると、業務データの不正変更や申請フローの誤動作が「エラーなしで完了」してしまうリスクがある。インフラ死活監視だけでは検出できない「正常完了・誤回答」の盲点は本調査のFinding 5が定量的に裏付けている。第二に、Shopify Plus上のチェックアウト自動化やB2B受発注エージェントを構築している場合、本番トラフィックへのインラインの品質アサーションが25%しか実施されていないという本調査の数字は、国内EC事業者にとっても対岸の火事ではない。
詳細
Finding 1：評価合格は「動くエージェント」を保証しない
過去12か月で内部評価を通過したエージェントまたはLLM機能が本番で顧客向け障害を引き起こしたかを尋ねたところ、以下の結果が得られた。
- 26%：はい、1回
- 24%：はい、2回以上（繰り返し発生）
- 36%：本番障害なし
- 8%：デプロイ前評価を実施していない
- 6%：追跡していない、または不明
評価を実施している組織の50%が、評価パス後に顧客向け障害を経験している。誤出力・ワークフロー破損・品質インシデントなど形は様々だが、「評価が合格を出した時点でエージェントは準備できていなかった」というコストの高い失敗だ。その後の企業行動——評価への信頼度、監視体制、付与する自律性——はすべてこの経験に規定されている。
Finding 2：自動評価を完全に信頼する企業は5%のみ
自動エージェント評価への信頼を最も損なう制限を尋ねたところ、不満なしと答えた企業はほぼ皆無だった。
- 29%：実世界の結果との整合不足——最多の制限
- 21%：評価のバイアスまたは不一致
- 18%：説明可能性の欠如
- 17%：評価プロセスにおけるデータ漏洩・プライバシー懸念
- 11%：ツール自体の未成熟
- **5%**のみが自動評価を完全に信頼
95%の組織が何らかの制限を挙げており、最多の29%は「評価が実世界の結果と整合していない」という点を問題視する。これはFinding 1の直接的な原因でもある。バイアスや不一致（21%）、説明可能性の欠如（18%）も続き、企業は評価がどのような根拠で判定を下したかを把握しきれていない状況にある。
Finding 3：自律性の上限は上昇し続ける
自動評価結果のみで、ヒューマンレビューなしにコードやシステム変更を本番デプロイすることを許可するかを尋ねた。
- 34%：はい——特定の低リスクエージェントまたは変更に対しては既に許可
- 33%：いいえ——ただし12か月以内に許可するパイプラインを積極的に構築中
- 22%：いいえ——当面の間、完全自動デプロイを許可する予定なし
- 8%：該当なし（自律エージェントをデプロイしない）
- 3%：不明
ここに本調査の核心的なパラドックスがある。自動評価をほぼ誰も完全に信頼していない（Finding 2）にもかかわらず、66%の組織が低リスクエージェントへのゼロ・ヒューマンインザループ・デプロイを既に許可しているか、1年以内に許可するよう積極的に構築している。自律性が保証を追い越す速度で上昇しており、Finding 1で示された「偽の信頼による失敗」はこのまま縮小ではなく拡大する構造になっている。
注目すべきは、この傾向が大企業でより顕著な点だ。従業員2,500名以上の大企業では70%がゼロ・ヒューマンデプロイへ向かっており、2,500名未満の64%を上回る。また、評価パス後に顧客向け障害を経験した割合も大企業54%対中小企業48%と大企業の方が高い。「規制のある大企業ほどヒューマンインザループを維持している」という前提は、この調査では逆転している。
Finding 4：評価スタックは分散し、プロバイダー主導
エージェント信頼性・評価プラットフォームの主要利用ツールを尋ねた。市場に明確なリーダーは存在しない。
- 17%：OpenAI Developer Platform のネイティブ評価/トレース——最多利用ツール
- 17%：専用エージェント信頼性・評価ツールなし
- 13%：Anthropic Claude Console のネイティブ評価
- 12%：Confident AI（DeepEval）
- 11%：自社カスタムツール
- 8%：Braintrust
- LangSmith、Weave、Promptfoo、Langfuse、Arize などの純粋なスペシャリストはいずれも低い一桁台
OpenAIのネイティブ評価・トレース（17%）とAnthropicのClaude Console評価（13%）が合わせて独立プラットフォームを上回るが、その最多利用と同率で「専用ツールなし」が17%に並ぶ。独立系評価ベンダーはいずれも一桁台から低二桁台に散在しており、カテゴリ標準となったプラットフォームはまだ存在しない。
Finding 5：本番監視はほぼ出力品質を見ていない
本番稼働中のエージェント監視の種別を尋ねた結果は以下の通りだ。
- 25%：トランザクショントレースロギング——インフラスパン、トークン数、事後デバッグ用の生I/O
- 25%：ゲートウェイインフラトラッキング——APIレイヤーのレイテンシ・エラー率・コスト（出力品質ではない）
- 23%：インライン品質アサーション——ライブトラフィックへのリアルタイムジャッジ/ガードレール
- 10%：ライブ出力品質のアドホックレビュー
- 17%：不明または担当外
監視内容を分類すると、51%の組織は「エージェントが機能しているか」しか監視しておらず、「エージェントの回答が正しいか」を監視しているのは23%に過ぎない。アドホックレビューと不明を含めると、約75%の組織が本番でリアルタイムに出力の正確性を自動評価していない。システムが稼働しコストが見えていても、回答の正確性は信頼に頼っている状態だ。これはFinding 1のデプロイ前ギャップの実行時版といえる。
Finding 6：価格で選び、一貫性で評価する
評価ベンダー選択の主要因と成功指標を尋ねた結果、双方とも現実的な答えが返ってきた。
選択基準：
- 28%：評価コスト——最多の選択要因
- 27%：統合のしやすさ
- 24%：評価精度
- 13%：オブザーバビリティの幅
- 4%：ベンダーロードマップ
成功指標：
- 36%：評価の一貫性——最多の目標
- 19%：実験速度
- 18%：障害・リグレッションの削減
- 13%：本番可視性
- 11%：コンプライアンス
一貫性（同一の動作に対して毎回同じ判定が出ること）が成功指標の首位に来ることは示唆的だ。評価の信頼性を高める前提として「安定性」が求められており、この裏返しがFinding 2でバイアスや不一致が信頼制限の第2位に挙がった理由でもある。現行ツールへの満足度は総合満足度・導入容易性・コストパフォーマンスの平均で5点中3.8点と中程度にとどまる。
Finding 7：次の投資先はヒューマンレビューとオブザーバビリティ
今後1年で最も成長する信頼性・評価関連の投資領域を尋ねた。
- 30%：本番オブザーバビリティツール——最多の成長領域
- 26%：ヒューマンレビューワークフロー
- 20%：安全・ポリシー評価
- 16%：自動評価パイプライン
- 8%：予算増加なし
最も静かな矛盾がここに現れる。66%の組織が本番デプロイからヒューマンを排除する方向に進んでいる一方、ヒューマンレビューワークフローへの投資拡大（26%）を計画している企業は、自動評価パイプラインへの投資（16%）よりも多い。自律性への傾向とヒューマンレビュー予算の拡大が、同じ組織の中で同時に進行している。企業はヘッジしている——自律性に向かいながら、自動評価がまだ信頼できない判断のために人間を確保し続けている。
Finding 8：ツールの入れ替えが来る
新規・追加・代替の評価プラットフォームの採用・切り替え計画を尋ねた。
- 36%：変更予定なし
- 31%：0〜3か月以内に採用・切り替え予定
- 24%：3〜6か月以内
- 10%：6〜12か月以内
64%が12か月以内に評価プラットフォームの採用・切り替えを計画しており、市場は流動的だ。検討中のプラットフォームではConfident AIのDeepEval（20%）がトップで、OpenAIのネイティブ評価（13%）、Braintrust（9%）が続く。現在の利用がプロバイダーネイティブツールか「ツールなし」に集中していることを考えると、これは乗り換えではなく「評価レイヤーの本格的な初回採用の波」が来ていると読むのが適切だ。
まとめ：自律性が広げ続ける評価ギャップ
100名以上の組織が、評価への信頼度を上回る自律性をAIエージェントに与えている。半数は評価をパスしたエージェントが顧客障害を起こすことを経験済みで、ほぼ誰も自動評価を完全には信頼せず、多くが本番で稼働時の回答品質ではなくアップタイムとコストのみを監視している。それでも3分の2が、自動評価のみで本番デプロイすることを許可済みか構築中だ。
評価ギャップは「テストの数を増やせば埋まる問題」ではない。それは「現実を反映し、ゲートとして信頼できる評価を作る問題」だ。自律性が保証に先行し続けるか、あるいは保証が追いつくか——その答えを次の調査波が追跡する。
調査概要：2026年6月実施、従業員100名以上の157社を対象とした単一波調査。方向性を示す指標として読み、精密な測定値としては扱わないこと。サンプルは自己選択式でありミッドマーケット寄りに偏っている。