記事のサマリー（TL;DR）
- 107社調査でGPU稼働率は83%が50%以下、49%は25%以下という深刻な非効率が明らかに
- AIインフラのコスト・ROIを厳密に追跡できている企業は44%のみ、支出の速度が可視化を大幅に上回る
- 64%が12ヶ月以内にプロバイダー変更・追加を予定、最も評価予定が多いのはCoreWeave等の特化型AIクラウド（45%）
国内AI基盤投資企業が直視すべきコスト可視化の遅れ
本調査はQ2 2026年6月時点の米国中心の企業データだが、日本市場でも同構造の問題は進行している。多くの国内企業がGoogle Cloud・Azure・OpenAI APIを組み合わせて生成AIを動かし始めているものの、GPU利用料やAPIコストをプロジェクト・部門単位で正確に追跡できているケースは少ない。「TCO（総所有コスト）を重視する」と答えながら実際にはそれを測れていない、という調査結果の矛盾は、日本のIT部門でも当てはまりやすい。
BigQueryなどのデータ基盤にAIインフラのコストログを統合してLLM APIの呼び出しコストをプロジェクト別に可視化する構成は、こうしたコストブラインドネスへの現実的な対処として有効だ。また、kintone・Salesforce等の業務SaaSに生成AIを接続する場合、APIコストをトークン単位ではなくビジネス成果単位で測定する仕組みを最初から設計しておくことが、後から追いかける事態を防ぐ。
詳細
調査概要
VentureBeat Pulse Researchが企業のAIインフラ・コンピュート・推論経済性をテーマに実施。対象は従業員100人以上の107社、2026年Q2（6月）単一ウェーブのクロスセクション調査。業種は Technology/Software（26%）、Healthcare/Life Sciences（15%）、Financial Services（13%）、Retail/E-commerce（12%）など。役職は管理職（38%）、個人貢献者（28%）、VP/ディレクター（19%）、C層（13%）。意思決定権限保有者が45%、推薦・影響力保有者が30%と購買力のある回答者構成。中堅企業（101〜1,000名）が63%を占め、大企業上位への一般化には注意が必要。
Finding 1：野心が本番稼働を上回る
スケールでの本番運用は企業の2割のみ
- 38%：PoC実施中、本番未達
- 37%：一部ワークロードが本番稼働、全社展開には至らず
- 21%：全社規模でAIを本番運用（成熟した少数派）
- 4%：AIワークロード未着手
企業の76%がまだ実験段階または部分展開にとどまっており、本格稼働はごく一部だ。現在進行中のインフラ投資判断は、これからコンピュートフットプリントが急拡大する企業が主体となっている。
Finding 2：現行インフラはハイパースケーラーとモデルAPIが主流
特化型GPU クラウドは現時点でほぼゼロ
- 48%：Google Cloud（最多利用プラットフォーム）
- Microsoft Azure 29%、AWS 22%、Oracle Cloud 22%
- Gemini（Googleモデル）41%、OpenAI 40%、Anthropic 12%
- CoreWeave、Lambda、Crusoe、Nebius などの特化型AIクラウドはいずれも2%未満
- 自社オンプレGPUクラスター運用は6%、カスタムオープンソーススタックは4%
現在のAIスタックは「汎用クラウド＋モデルAPI」で構成されている。特化型ネオクラウドの利用率はほぼゼロに等しく、Finding 3の評価意向との落差が際立つ。
Finding 3：次の投資先は現在使っていないインフラ
特化型AIクラウドが評価リストのトップ
次の12ヶ月で評価を予定しているインフラの回答結果：
- 45%：特化型AIクラウド（CoreWeave、Lambda、Crusoe、Nebius）※最多
- 32%：非NVIDIAアクセラレーター（AWS Trainium、Google TPU、AMD Instinct、Intel Gaudi、独自ASIC）
- 28%：NVIDIA Blackwell（GB300）/ 次世代GPU
- 16%：分散型コンピュートネットワーク
- 11%：ソブリン／地域特化型コンピュート
- 9%：上記いずれも評価予定なし
現在の利用実態とは真逆の方向性だ。特化型AIクラウドはネット拡大スコア+24で最高値を示し、ハイパースケーラー（+22）をわずかに上回る。2026年4〜5月の前回ウェーブでも同様の傾向が確認されており（CoreWeave 3%、Lambda 4%の低利用にもかかわらず移行意向が最多回答）、2ウェーブ連続で一貫した方向性が示された。
Finding 4：スイッチング波が来る
6割が1年以内にプロバイダーを変更・追加予定
- 38%：0〜3ヶ月以内に変更予定（最多回答）
- 36%：変更予定なし
- 22%：3〜6ヶ月以内
- 7%：6〜12ヶ月以内
基盤インフラとしては異例に高い移行意向だ。64%が12ヶ月以内に変更または追加を予定している。ただし、近い将来（四半期内）のスイッチング先として名前が挙がったのはMicrosoft Azure・Google Cloud（各33%）、OpenAI（30%）、Gemini（22%）など既存大手が中心。特化型ネオクラウドへの実際の移行はまだ「12ヶ月の評価テーゼ」段階にある。
Finding 5：トークン単価では選ばない
意思決定基準は既存スタックとの統合とTCO
- 41%：既存クラウド・データスタックとの統合（最重要基準）
- 35%：総所有コスト（TCO）
- 24%：レイテンシ・スループットなどパフォーマンス
- 各19%：セキュリティ/コンプライアンス、オートスケーリング、GPU可用性
- 8%：コスト per 100万トークン（最下位）
ベンダーが最も激しく競う指標「トークン単価」は購買決定の最後尾だ。企業はプロバイダーが実際に既存環境に収まるか、また真のコストがいくらかを最重視する。しかしFinding 7が示すように、そのTCOを実際に測定できている企業は少数派という逆説が生じている。
Finding 6：高価なGPUが大半の時間アイドル状態
83%がGPU稼働率50%以下と回答
- 37%：稼働率26〜50%
- 34%：10〜25%
- 15%：10%未満
- 12%：50%超（効率的な少数派）
- 8%：稼働率を計測していない
GPU稼働率の実態がはっきりと数値に出た。GPUを運用する企業の83%が50%以下、49%が25%以下だ。追加購入や特化型クラウドへの移行を検討している一方で、現有設備は大部分が稼働していない。このギャップがコンピュートギャップの最も具体的な指標だ。
Finding 7：支出は速く、測定は遅い
AIコンピュートのコスト追跡を厳密に実施しているのは44%のみ
- 44%：コストとROIを厳密に追跡
- 39%：部分的にのみ追跡
- 20%：まだ定量化できていない
- 6%：優先事項にしていない
Finding 5でTCOを最重要基準の2位に挙げながら、過半数がそれを正確に測れていない。現在のインフラへの満足度は5点尺度で平均4.0と「そこそこ」の評価だが、導入しやすさ（3.8）とコスパ（3.9）は低め。コストに関する評価の甘さが、測定能力の欠如と重なっている。
Finding 8：次のボトルネックに気づいていない企業が多い
推論がコンピュートからメモリにシフトする局面で回答が分散
大規模推論における制約が「GPU演算性能」から「メモリ帯域幅（KVキャッシュ容量）」に移行しつつあることへの対処を尋ねた結果：
- 31%：Dell（PowerScale / Project Lightning）に依存
- 18%：NVIDIA（Dynamo / ICMSP）
- 10%：Hammerspace（Tier Zero）、9%：DDN（Infinia）
- 18%：この制約を認識していない（9%）またはまだ対処していない（8%）
約2割の企業がこの制約を認識すらしていない。コスト・アーキテクチャを左右するメモリボトルネックへの対処が進んでいないまま、次の設備投資フェーズに突入しようとしている状況だ。
まとめ：支出の加速がギャップをさらに広げる
本調査の中心テーマである「コンピュートギャップ」の構造は明確だ。
- 企業の大多数はまだAI本番稼働の初期段階にある
- それでも支出意向は現在のスタックを大きく超えて特化型クラウドや代替アクセラレーターに向かっている
- GPUは過半数でほぼ半分アイドル状態、コスト追跡も過半数が不完全
- プロバイダー選定基準の上位に挙げるTCOを測れていないという矛盾が構造的に存在する
- 推論メモリ制約という次の課題が到来しているのに、現在の課題すら解決されていない
問題はキャパシティ不足ではなく「手元にあるハードウェアのコストを見る力の不足」だ。次のインフラ層を購入する前に、まずコスト可視化の仕組みを構築できるかどうかが、今後の投資効率を左右する分岐点になる。