OpenAI LifeSciBench — GPT-Rosalind が生命科学研究タスクで GPT-5.5 を上回る成果

記事のサマリー（TL;DR）

• OpenAI が750タスク・173名の博士級科学者が執筆した生命科学ベンチマーク「LifeSciBench」を公開
• GPT-Rosalind の全体合格率は36.1%で GPT-5.5（25.7%）を上回るが、アーティファクトを含むタスクでは28.1%に低下
• 設計・最適化・数値出力など「正確さが命」のタスクは最大14.8%止まりで、実用化には課題が残る

国内の生命科学系 SaaS・創薬スタートアップが注目すべき評価軸

LifeSciBench はバイオテック・製薬分野の「実務ワークフロー」をそのままタスク化した点が従来ベンチマークと大きく異なります。エビデンス解釈・実験設計・規制対応（トランスレーション）など7カテゴリは、日本の創薬スタートアップや CRO が日常的に直面する業務と直接対応します。GPT-Rosalind が「Scientific Communication（科学的コミュニケーション）」で71.1%、「Translation（ベンチ→ベッドサイド）」で57.7%を達成した事実は、規制文書の初稿生成や社内報告書の構造化といった用途で AI が実用水準に近づいていることを示します。一方、CRISPR ドナー設計や siRNA 設計のように出力が直接実験に使われるタスクの合格率は14〜27%台であり、専門家によるレビューを省略できる段階ではありません。BigQuery などを用いたデータ基盤と AI モデルを組み合わせて研究データを管理する構成では、「アーティファクト処理の弱さ」が特にボトルネックになりやすいため、パイプライン設計時の留意点となります。

詳細

LifeSciBench とは何か

エージェント型 AI システムは科学的タスクをこなす能力を急速に高めています。しかし生命科学研究者にとってその有用性は、実際の研究の複雑さをどれだけ扱えるかにかかっています。現実の研究は、単一の事実確認問題や整理された予測問題とはほど遠いものです。研究者は不完全なエビデンスを解釈し、相反する結果を整合させ、難易度の高い実験を設計し、アッセイをトラブルシュートし、トランスレーションリスクを評価し、不確実な状況下で次の行動を決断します。

既存のベンチマークはこうした能力を十分に評価できていません。多くの生命科学評価は狭い領域か個別スキルに絞られており、構造化された問題形式とクリーンな参照回答に頼る傾向があります。LifeSciBench はこのギャップを埋めるために設計されました。すべてのタスクは、バイオテック・製薬の現場で創薬プログラムを推進した実務経験を持つ博士号取得者の判断を基盤としています。

主要統計

LifeSciBench が測定するもの

LifeSciBench は「生物学の問題に答えられるか」ではなく、「AI システムが現実的な生命科学研究タスクを支援できるか」を測定します。ベンチマークの分類体系を定義するにあたり、OpenAI は応用研究現場で活躍する実務科学者に対し、最も頻繁に使うワークフローを調査しました。その回答を次の7カテゴリに整理しています。

1. エビデンス処理（Evidence Handling） — 論文・図・表・実験記録からの抽出・整合・監査
2. 分析（Analysis）
3. 設計・最適化・予測（Design, Optimization & Prediction）
4. 科学的推論（Scientific Reasoning）
5. 検証・オペレーション（Validation and Operations）
6. トランスレーション（Translation） — ベンチから臨床への橋渡し
7. 科学的コミュニケーション（Scientific Communication）

各タスクは、科学者が知識豊富な協働者に依頼するような形式で構造化されています。科学的プロンプト・関連コンテキストまたはアーティファクト・自由記述形式の回答、という構成で、専門家が書いたルーブリックにより正解の有無だけでなく、詳細度・根拠・留意事項・フォーマットまで評価します。

データセットの構築プロセス

LifeSciBench のタスクは現実の研究問題を通じてモデルに取り組ませます。エビデンスの解釈、ドメインに根ざした判断、専門家レビュアーに役立つ結論の伝達などです。多くのタスクはプロンプトテキストだけでなく、サポートデータファイルを推論に使う必要があります。

• タスクの 79% が複数の推論または意思決定ステップを要求（平均4ステップ）
• アーティファクト（図・PDF・表・配列ファイル・構造/化学ファイル・Web参照）は計 1,062件
• タスクの 53% 以上が少なくとも1つのアーティファクトからの解釈・統合を要求

173名の専門家科学者がタスクを作成しました。全員が博士号取得者でバイオテクノロジーまたは製薬業界の経験者です。タスクは必要な限り何度でも改訂でき、採用されたタスクは平均6回の自動レビューサイクルと最低2回の専門家レビューを経ています。採用要件として、関連分野のレビュアー間で 90%以上の合意 が必要でした。

グレーディングとルーブリック設計

LifeSciBench のタスクは、期待される回答を科学的主張・計算・判断・根拠などに分解した詳細なタスク固有のルーブリックで採点します。ベンチマーク全体で専門家作成ルーブリックには 19,020の基準（タスク平均25基準）が含まれ、科学的正確性と研究上の有用性の両面を評価します。

この設計は、生命科学タスクの多くが最終回答の確認だけでは採点できないという実情を反映しています。高レベルな結論が正しくても、例えばアッセイの重要な限界を見落としたり、重大な生物学的ニュアンスを自発的に挙げなかった場合は不完全と判定されます。逆に、タスクを完全に解けなくても部分的な回答に高品質の推論が含まれれば部分点が与えられます。

ルーブリック例（ジストロフィン遺伝子治療評価タスク）

このタスクでは FDA の承認申請パッケージを評価する問題が出題されており、以下のような採点基準が設定されています。

LifeSciBench の検証

453名の独立した専門家レビュアーがベンチマークを検証しました。そのプロフィールは以下の通りです。

• 97%が博士号または同等の学位保持者
• 平均12年の専門分野経験、14本の査読付き論文
• 88%が少なくとも1件の受賞またはフェローシップを受領

レビュアーは各タスクについて、実際の研究との整合性・科学的推論とドメイン知識の適切な評価・エビデンスまたは専門家コンセンサスへの根拠づけ・モデル性能評価への有用性を採点しました。全カテゴリで96%以上の合意率を達成しています。

モデルのパフォーマンス結果

2つの指標を報告しています。合格率（Pass Rate） はタスクレベルの成功閾値70%を満たしたタスクの割合、スコア（Score） はタスク全体を解けない場合でも個別基準に部分点を与えた平均ルーブリック報酬です。

AI システムが強みを示す領域

LifeSciBench によれば、フロンティアモデルは科学的な統合・コミュニケーション・構造化解釈のタスクで比較的強い結果を示します。GPT-Rosalind は全体の正確合格率を GPT-5.5 の25.7%から36.1% へと改善しました。

最も大きな進歩が見られたカテゴリは以下の通りです。

• Scientific Communication（科学的コミュニケーション）: GPT-5.5 の56.3% → GPT-Rosalind の 71.1%（サンプルn=9のため解釈に注意）
• Translation（トランスレーション）: GPT-5.5 の36.8% → GPT-Rosalind の 57.7%

ルーブリックレベルの結果も同じ方向を指しています。

• 専門家に有用・実行可能な出力を要求するタスク: GPT-5.5 の29.1% → GPT-Rosalind の 44.7%
• 不確実性・留意事項の処理を要求するタスク: GPT-5.5 の29.3% → GPT-Rosalind の 44.8%

AI システムがまだ苦手な領域

アーティファクトが多い・設計中心・操作上の制約がある科学的作業ではパフォーマンスが大幅に低下します。

• Design, Optimization & Prediction: GPT-Rosalind の合格率 30.7%
• Analysis: GPT-Rosalind の合格率 30.3%

アーティファクト処理は特に顕著なギャップです。

回答形式別でも差が出ており、GPT-Rosalind の数値タスク合格率は 14.8%、配列・構造出力タスクは 24.0% にとどまります。CRISPR/HDR ドナー設計や siRNA 設計など、出力を直接実験に使える精度が求められるワークフローでは、この弱点が科学的に重大な意味を持ちます。

また、タスクの約 14% ではモデルが合格閾値未満でありながら実質的なルーブリック点数を獲得しています。GPT-Rosalind では109タスクが合格率20%未満でも50%以上のルーブリック報酬を得ており、モデルが関連エビデンスを特定したり部分的な回答を出したりしながらも、重要な制約を見落とすか間違ったエビデンスを使用するか計算を不完全にするか科学的に有用な最終判断に至らないという状況を示しています。

限界と今後の展開

LifeSciBench は AI システムが生命科学研究にどれほど有用かを測定する一歩ですが、ライブ研究環境でのモデル評価に代わるものではありません。本ベンチマークは業界の繰り返し業務を反映した独立したタスクに焦点を当てており、多くの専門分野やタスクタイプは現在のスコープ外にあります。

現実の研究はイテレーティブです。科学者は新たなエビデンスを集め、仮説を修正し、フォローアップ実験を設計し、結果に応じて計画を適応させます。LifeSciBench での高いパフォーマンスはタスクレベルの能力の証左と解釈すべきであり、下流の研究成果への直接的な測定ではありません。

次のステップは、ベンチマークのパフォーマンスをライブ研究ワークフローの導入研究と結びつけることです。AI システムが創薬を加速したり R&D アウトカムを改善したりするかどうかを測定するには、実際の研究環境での長期的なモデル使用と複数ラウンドの推論・フィードバック・実験フォローアップを研究する必要があります。