記事のサマリー（TL;DR）
- Googleは、Gemini 3.7 Flash、Gemini 3.6 Flash、Gemini 3.5 Flash-Liteの3モデルに、動画解析向けの新機能「agentic video understanding（エージェント的な動画理解）」を導入しました。
- 提供元は、この機能により標準的な動画解析ベンチマークにおいてトークン消費を最大88%、解析コストを最大66%削減し、精度を最大7%向上させると説明しています。
- 本機能は、Google AI StudioのGemini APIおよびGemini Enterprise Agent Platform経由で、動画アップロードおよびYouTube動画に対して利用可能です。
利用条件・提供方法
agentic video understanding は、Google AI StudioのGemini APIおよびGemini Enterprise Agent Platformを通じて、動画アップロードとYouTube動画の両方に対応しています。対象となるモデルはGemini 3.7 Flash、3.6 Flash、3.5 Flash-Liteの3つです。料金体系は標準のGemini APIトークン課金がそのまま適用され、追加の機能利用料はかからないとされています。有効化する際は、API設定の processing を “agentic” に設定するだけとされています。
詳細
概要
Googleは、最新のGeminiモデル群であるGemini 3.7 Flash、3.6 Flash、3.5 Flash-Lite全体に、agentic video understanding（エージェント的な動画理解）を導入したと発表しました。この新機能は、動画解析における精度を改善しつつ、トークン使用量とコストを大幅に削減するとされています。静止画理解にコード実行を組み合わせた「agentic vision」と同様に、agentic video understandingはGeminiのネイティブな動画ツールを活用し、動画処理の性能を高めるとともに、サブ秒単位の該当箇所検索、より正確な異常検知、精密なカウントといった新たな機能を実現するとしています。
ベンチマーク
従来の「静的」な処理方式では、モデルは固定のフレームレート（デフォルトは1FPS、APIで調整可能）で動画を取り込みます。これに対しagentic video understandingは、モデルの中核的な推論とネイティブな動画ツールを組み合わせ、映像フレーム・音声・文字起こしの各モダリティを横断して、対象となる動画区間を動的に検索・走査・確認するとされています。標準的な動画解析ベンチマークにおいて、agentic video understandingを備えたGeminiモデルは、解析コストを最大66%、トークン消費を最大88%削減しながら、精度を最大7%向上させるとGoogleは説明しています。
こうした効率化の効果は、10分程度のハウツー動画から90分の講義、数時間に及ぶ録画まで、長尺の動画において特に顕著だとされています。静的処理では、開発者は高いトークンコストを受け入れるか、重要な詳細が欠落する技術を選ぶかの二択を迫られていました。Gemini 3.7 Flashでagentic video understandingを有効化すると、トークン消費が最大88%減少し、精度が最大7%向上するとしています。対応する3モデルすべてでこうした効果が見られる一方、agentic understandingを備えたGemini 3.7 Flashは全体として最も高い品質を提供し、品質とコスト効率の組み合わせが最も優れているとされ、動画理解に関して検証対象モデルの中で精度とコストのパレートフロンティア上に位置するとGoogleは述べています。
仕組み
モデルが固定のフレームレートでメディアストリームを取り込む静的処理とは異なり、agentic video understandingでは、Geminiが何を、どの速度で、どのモダリティ（フレーム・音声・文字起こし）を通して見るかを能動的かつ目的志向的に判断し、必要な瞬間や情報のみを取得できるようにするとしています。開発者はこれまでも手動でこうした処理を行うことができましたが、agentic video understandingにより、Geminiはエージェント的なループを通じてこれを実行し、動画ファイルの該当箇所を読み込む内部ツールを呼び出すことで、開発上の負担を大幅に軽減するとされています。
機能とユースケース
agentic video understandingは、要求水準の高いさまざまな用途における長尺動画コンテンツの処理方法を変えるとしています。具体的には次のような機能が挙げられています。
- サブ秒単位の該当箇所検索：1FPSでは見逃されやすい、一瞬の状態変化や厳密なカット境界を特定でき、精密な自動動画編集を可能にするとされています。
- 長尺動画における「干し草の中の針」探索：数百万トークンを消費することなく、数時間に及ぶ動画に対する複雑な問い合わせに回答できるとしています。
- 異常検知：関心のある時間帯を高いFPSで再サンプリングし、速い動きや微妙な視覚的アーティファクトを確認できるとしています。
- 動作・物体のカウント：繰り返される物理的な動きや、区別される物体を時間を通じて正確に追跡できるとしています。
早期アクセスパートナーの結果
早期アクセスパートナーの多くが、agentic video understandingのテストにおいて高い性能を確認したとGoogleは述べています（個別のコメント内容は原文中には具体的な引用として示されていません）。
利用開始方法
agentic video understandingは、Google AI StudioのGemini APIおよびGemini Enterprise Agent Platformを通じて利用可能で、Gemini 3.7 Flash、3.6 Flash、3.5 Flash-Liteの各モデルに展開されています。標準のGemini APIトークン課金が適用され、追加の機能利用料はないとされています。有効化するには、API設定でprocessingを”agentic”に設定するだけだとしています。開発者ガイドを参照することで、機能の詳細や利用開始方法についての情報が得られるとしています。
サンプルコードとして、Python向けgenaiライブラリを用い、モデルに”gemini-3.7-flash”を指定し、入力にYouTube動画のURIと”processing”: “agentic”を設定した上で、動画に関する質問（キーノートにおける重要な発表内容を問うもの）を送信する例が示されています。
今後の展開
Googleは、agentic video understandingによる効率性と品質の向上を、Google製品全体の多数のユーザーにも展開していくとしています。まもなくGeminiアプリの全ユーザーに対して、FlashおよびFlash-Liteモデル全体でこの機能が展開される予定だとしています。また今後数か月のうちに、YouTubeの動画視聴ページにある「Ask YouTube」機能にもagentic video understandingが活用され、Geminiを用いて映像に基づくより質の高い回答を提供するとしています。
本取り組みへの貢献者として、Sergi Caelles氏、Filip Pavetić氏、Ahmet Iscen氏、Suhas Yogin氏、およびAgentic Visionチームへの謝辞が記されています。