記事のサマリー(TL;DR)
- Googleは Artificial Analysis と共同で、視覚的に複雑なファイルを扱いながら実務上の知識労働タスクを解決するエージェントの推論能力を評価する新ベンチマーク「Multimodal Knowledge Agent(MKA)」を発表しました。
- MKAは10業種・83職種の専門家と協力して作成された200タスクの評価セットで構成され、各タスクは経験豊富な専門家が完了するまでに3〜8時間を要する多段階のプロジェクトを模しています。
- Googleのモデル「Gemini 4 Carbon」は、テストした中で品質2位を達成し、最高スコアのモデルと比較して平均で6分の1のコストでタスクを完了したと説明されています。
評価の仕組みと利用条件
MKAの200タスクの評価セットはArtificial Analysisが運用し、非公開のまま維持されます。これは、タスク内容が学習データに混入したり、モデルが検索によって発見したりすることを防ぎ、結果の信頼性を保つためだと説明されています。あわせて、形式の確認や自分のエージェントのテストに使える、別途10件の公開タスクセットがHugging Face上で公開されています。
すべてのモデルは、同一のオープンソースのエージェントハーネス「Stirrup」上で、同じツール・サンドボックス・ターン予算の条件のもとで実行されます。評価を希望するユーザーは、本日からArtificial Analysis上でベンチマークを確認し、自身のモデルを評価できます。
採点には、Google製ではないモデルをベースに構築された「エージェント型オートレーター」が使われます。オートレーターは各ファイルを開き、ページをレンダリングし、スプレッドシートの数式を検査し、専門家が作成したルーブリックに照らして成果物を評価します。ドメインの専門家自身がモデルの出力を採点した結果と比較したところ、オートレーターとの一致率は96%だったとされています。
詳細
MKAの背景と目的
Googleによると、多くの知識労働ベンチマークはテキストのみで解けてしまい、画像やページレイアウトを見る必要がありません。しかし、実際の専門職の業務は視覚的な要素が深く関わっています。建築の設計図を相互参照したり、エンジニアリングの図面をたどったり、分析結果をスライドや報告書、スプレッドシートにまとめたりといった作業が、多くの業界の日常業務に含まれています。GoogleはMKAを、こうした視覚的に複雑な作業をエージェントがどれだけうまく処理できるかを測定するために構築したと説明しています。
タスクの構成
ベンチマークを実務のワークフローに即したものにするため、Googleは日常業務が本質的に視覚的な10業種・83職種にわたる専門家と提携しました。建築家、生物学者、保険引受人(underwriter)、データサイエンティストなど、これらの専門家が共同でMKAの200タスクの評価セットを作成しました。各タスクは、経験豊富な専門家が完了するのに3〜8時間を要する多段階のプロジェクトを反映しており、現実的なプロンプトとマルチモーダルな入力ファイル一式に加え、専門家が作成した約70項目のYes/No形式のルーブリックが組み合わされています。ルーブリックの配点は、事実の正確性に75%、ビジュアルデザインに25%が割り当てられています。
技術レポートが示す結果
Googleが公開した技術レポートでは、手法と結果が詳細に説明されています。レポートによれば、フロンティアモデルはそれぞれ非常に異なる方法でタスクに取り組んでいます。同じタスクセットにおいて、テスト対象のモデルは効率面で極端な差があり、1つのタスクを完了するのに平均して30回から130回のターンを要しました。また、各タスクを解くには強い知覚能力が必要であることが示されており、視覚情報を取り除いた場合にモデルがそれを補おうとして失敗する様子も示されています。
Gemini 4 Carbonの位置づけ
Gemini 4 Carbonは、テストされたモデルの中で品質面で2位を達成し、最高スコアのモデルと比較して平均で6分の1のコストでタスクを完了したとされています。Googleは、Gemini 4 CarbonがMKA評価において品質と価格のパレートフロンティア上に位置すると説明しています。
利用開始方法
Gemini 4 Carbonは、Google AI Studio経由のGemini APIで本日から利用可能です。詳細は更新されたGemini 4の開発者ガイドおよびドキュメントで確認できます。