記事のサマリー（TL;DR）
- OpenAI が GeneBench-Pro（129問）を公開。ゲノミクス・定量生物学・トランスレーショナルメディシンを網羅
- 最高推論レベルでの GPT‑5.6 Sol (Pro) の正答率は 31.5%。従来の GPT‑5 が 5% 未満だったことと比較すると急伸
- 人間専門家が 1 問に要するコスト（保守的見積もりで数千ドル）に対し、推論コストは 数ドル程度。部分自動化だけでも経済的・科学的価値を生む
国内バイオインフォマティクス・創薬 AI 開発者が注目すべき評価指標の登場
日本でも AMED や RIKEN、国内製薬大手が計算生物学・バイオバンク解析への AI 活用を加速しており、「どのモデルが実際の研究判断に使えるか」という問いは具体的なリソース配分の意思決定に直結します。GeneBench-Pro はコーディング能力ではなく解析経路の選択・仮定の修正・不確実性下での意思決定を測るため、既存のコーディングベンチマークとは異なる軸での比較が可能です。
GPT ファミリーとオープンソースモデル（GLM 5.2 など）の性能差がコーディングベンチマーク外挿よりも「有意に大きい」と明示されている点は、国内研究機関がオープンソースモデルを研究業務で採用する際のリスク評価に使える具体的なエビデンスです。また、ベンチマーク問題の 10 問が Hugging Face 上にオープンソース公開され、近日中に Artificial Analysis による第三者評価も提供される予定のため、独自検証コストを抑えながらモデル選定の判断材料を得られます。
詳細
GeneBench-Pro とは何か
科学データは「使い方の説明書き」を伴って届くことがありません。研究者はデータのパターンが生物学的現象なのかノイズなのかを判断し、データがその問いに答えられるかを評価し、各結果が次のアクションをどう変えるべきかを考えなければなりません。AI エージェントは複雑な解析を実行する能力を高めていますが、実際の科学研究はファクトの想起や定型ワークフローの実行だけでなく、こうした高次の判断に依存しています。
GeneBench-Pro は、実世界の計算生物学が要求する判断負荷の高い解析をモデルが扱えるかどうかを検証する、研究レベルのチャレンジングなベンチマークです。前身の GeneBench を拡張し、ゲノミクス・定量生物学・トランスレーショナルメディシン（translational medicine）にまたがる、より難度が高くリアルなタスクをカバーしています。科学研究の複雑さ・反復的性質・曖昧さを計算生物学の文脈で再現しています。
これまでのところ、実世界の計算研究を難しくする「システムレベルの判断呼び出し」——曖昧さの処理、仮定の修正、正しい解析経路の選択、結果が意思決定に使えるタイミングの把握——を説得力をもって評価するベンチマークはほとんど存在しませんでした。これらのスキルは形式化が難しく、厳密な評価も困難です。しかし AI の全体的なパフォーマンスをますます制約する弱点でもあります。
GeneBench-Pro はこれらの高次能力を精密に測定するよう設計されています。同ベンチマーク内で定義する「リサーチテイスト（research taste）」とは、「データがどの問いを支持できるか」「初期診断がモデルや推定対象をどう変えるべきか」「初期計画をいつ修正すべきか」という判断の連鎖です。各問題はモデルにリアルで整理されていないデータセット、簡潔な実験コンテキスト、下流の意思決定に紐づく目標推定量（target estimand）を与えます。正解するには、データを探索し、適切な解析アプローチを選択し、反復的な実験プロセスを経て、最終回答を提出しなければなりません。
データセットの構築
生物学では、ゲノムシークエンシングなどのデータ生成コストが劇的に低下し、制約要因はサンプル収集ではなく下流の計算・解析に移行しつつあります。GeneBench-Pro はそのボトルネックへの進捗を評価するために構築されており、計算生物学の広範な設定と手法をカバーする 129 問で構成されています。
ドメインアトラス：10 ドメイン・21 サブドメインにわたる 129 問
このアトラスは GeneBench-Pro の幅広さをプレビューするものです。代表的な 10 問の詳細はケーススタディページで確認できます。
GeneBench-Pro は一般的なベンチマークの失敗パターンを回避するよう設計されています。多くの長期ホライズン生物学ベンチマークは、乱雑な歴史的データセットをもとにマルチステップ問題を構築しますが、そこには単一の正しい解析経路が存在しない場合があります。あるエージェントが選ぶカットオフが別のエージェントには別の「同様に正当な」カットオフとなり、モデル性能の根本的な差異ではなくベンチマーク作成者の恣意的な選択を反映することになります。逆に、問題の数値感度が低すぎると、根本的な誤りを犯しても合格できてしまうケースも起きます。
これらの失敗モードを避けるため、GeneBench-Pro の各問題は合成的に構築されています。完全な因果構造を把握した上でデータ生成プロセスを直接シミュレートします。これにより各問題の複雑さを調整し、主観的な解析上の選択の合理的な差異が受理可能な数値結果を生む一方で、もっともらしくても誤った解析はアブレーション研究によって失敗することが検証されます。また問題案は詳細なトレース分析を通じて審査され、情報漏洩や意図しない解答経路がないか確認されます。
外部ドメインエキスパート（大学院生・ポスドク研究者・産業界の科学者・教授を含む）に 129 問中 82 問を送付し、現実性、目標回答の特定可能性、手法・推定量の適切性を評価してもらいました。そのフィードバックは問題の改善に活用されています。
評価・採点方法
GeneBench-Pro の各問題は自己完結した科学的解析です。エージェントは隔離されたワークスペースへのアクセスを与えられ、短いプロンプト、データファイル、そして Python・科学計算ライブラリ・PLINK 2.0 などの基本ゲノミクスパッケージを含む標準バイオインフォマティクススタックを利用できます（ドメイン固有ツールは必須ではありません）。
データ生成プロセスを完全にコントロールしているため、既知の目標に対して正解を決定論的に採点でき、標準ルーブリック評価に見られるモデル選択の変動や冗長性の影響を排除します。
各問題には、意図した解析構造・添付データファイル・詳細なマルチページケーススタディ・専門家レビュー結果を含むリッチなメタデータが付属します。代表的な 10 問を Hugging Face 上でフルオープンソース公開しており、ブラウジング用のインタラクティブ Web インターフェースも提供しています。また近日中に 50 問のサブセットを Artificial Analysis に提供し、独立した第三者ベンチマークを実施する予定です。
評価結果
最も強力なモデルである GPT‑5.6 Sol は最高推論レベルで 28.7% の正答率（Pro モード有効時は 31.5%）を達成しました。これは、GeneBench の構築を始めた当初に最良のフロンティアモデルだった GPT‑5 が 5% 未満だったことと比較すると大幅な向上です。このベンチマークでの進捗は、フロンティアモデルが抽象度の高いシステムレベルの科学的推論においても急速に改善していることを示しています。現在のペースでは、このベンチマークは年内に飽和する可能性があります。
結果はテスト時計算のスケーリング効果も示しています。最低推論レベルでは、GPT‑5.6 Sol は一桁台の正答率にとどまります。最高推論レベルでは、GPT‑5.6 Sol は GPT‑5.2 の約 6 倍の問題を解く一方で、使用トークン数は約 3 分の 2 です。
モデルファミリー間の比較では、GPT モデルが定量的不確実性下での高レベルな科学的推論において最強のシステム群に入ることが示されました。GPT‑5.6、GPT‑5.5 と、GLM 5.2 などの主要オープンソースモデルの性能差は、コーディングベンチマークからの外挿で予想されるよりも有意に大きく、オープンソースモデルが幅広い推論能力よりもコーディングに特化していることを示しています。
開発中にフロンティア GPT モデルを問題の評価・強化に使用したため、GeneBench-Pro が GPT モデルに不利になるバイアスを疑っていました。しかし競合モデルは、リリース時点の対応 GPT モデルのパフォーマンスにせいぜい並ぶ程度で、多くの場合大幅に下回りました。
コスト比較と今後の展望
評価結果（GPT‑5.6 Sol (Pro) で最大 31.5%）は、GeneBench-Pro の問題の難しさを考えると注目に値します。レビュー担当者の調査によれば、典型的な GeneBench-Pro の問題を人間の専門家が完了するには約 20〜40 時間かかると推定されています。保守的に 1 時間 200 ドルと見積もると、1 問あたりの人件費は数千ドルになります。現在の AI エージェントはまだ人間の専門家を代替するには信頼性が不足していますが、コスト差は大きく、推論コストは 1 問あたり数ドル程度です。つまり現在の能力でも部分的な自動化だけで、意味のある経済的・科学的価値を生み出せる可能性があります。
それでもフロンティアモデルがこれらの問題の 3 分の 1 未満しか解けないという事実は、改善の余地が大きいことを示しています。モデルは難しい問題で部分的な進捗を示すことはできますが、「推論ループを閉じる」ことに苦労しています。この失敗パターンは人間の専門家と初学者の対比を映しています。専門家は経験を使って問題をフレーミングしてアプローチを適応させますが、初学者は観察はできても問題の広い文脈に統合するのに苦労します。
人間の遺伝的証拠はすでにターゲットの優先順位付けとトランスレーショナルフォローアップの中心にあります。遺伝的サポートを持つメカニズムは承認される治療法につながる可能性がはるかに高いためです。一方でシークエンシングコストは急落し、バイオバンク規模のデータセットが分子・表現型・健康記録情報を前例のない幅でリンクするようになりました。制約要因はデータ生成から情報を実行可能なインサイトに変換することへとシフトしています。
人間専門家チームが現在担う解析を安定して実行できるモデルは、仮説のトリアージ加速、ターゲットフォローアップ、データ生成と意思決定の間の反復サイクルを加速することで、産業研究を変革できるでしょう。
GeneBench-Pro は、経験豊富な研究者が持つ優れた科学的判断力——最も有望な初期解析を直感的に特定し、データが初期仮定に反するときに思考を修正し、下流の臨床・学術・ビジネス上の意思決定が依拠できる結論に到達する能力——に関わる抽象的スキルを評価する取り組みの出発点です。モデル能力が進歩するにつれ、単純な知識テストや定型解析の実行能力だけでなく、こうした高い抽象レベルでモデルの能力を探るベンチマークがますます有用になることが見込まれます。