解決できる課題 事業紹介トップ 経営データ分析基盤 AI導入・業務改善 AI 業務アプリ 基幹システムのWeb化・段階移行 複雑な SaaS を専用 UI に Shopify Plus 移行・拡張 生成AI 活用(Multi AI) SEO / AIO / 広告運用 顧問・アドバイザリ インフラ構築 PHP脆弱性対策・更新 WordPressからEmDashへの移行 自社メディア投資・開発
AI導入 AI導入・業務改善 ChatGPTの社内導入 OpenAI Codex導入 AI運用・定着 Claude / MCP 総合 Claude Cowork Claude Code 導入支援 Claude Code 使いこなし支援 Claude Design MCP 開発・サーバー構築
EC構築・移行 Shopify Plus トップ EC-CUBEからShopifyへの移行 大手カートからの移行 Shopify 通常プラン EC サイト構築
実績
業界ニュース 業界ニュース トップ AI ニュース └ Claude └ ChatGPT・Codex └ Gemini └ その他 Shopify ニュース SaaS ニュース お知らせ(自社発信)
会社情報 相談する
2026.10.28

LLMは研究アイデアの新規性を正しく判定できるか、Ai2がベンチマークで検証

記事のサマリー(TL;DR)

  • Ai2(Allen Institute for AI)は、研究アイデアの新規性をLLMが判定する「novelty judge(新規性判定者)」の信頼性を調べた研究「Old Ideas, Novel Problems」を、ベンチマーク・データ・コード・自動評価パイプラインとともに公開しました。
  • GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6の6種のLLM判定者を対象に検証したところ、プロンプトのわずかな変更だけで同じアイデアに対する判定が大きく変わり、ある実験では2つのアイデアのどちらがより新規性が高いかを識別する正解率が50ポイント以上変動しました。
  • 検索機能や追加の推論を与えても判定が一貫して改善するわけではなく、専用に構築された2つの新規性評価システムは、シンプルなプロンプトによるClaude Opus 4.6のベースラインよりも成績が低い結果となりました。

詳細

背景:novelty judgeとは何か

Ai2では、科学的発見のさまざまな工程を支援するAIシステムを開発してきました。DataVoyagerは構造化データの探索・分析を助け、AutoDiscoveryは仮説の生成と検証を行い、Theorizerは大量の文献からエビデンスを統合して候補となる科学理論を作成します。これらはAstaとともに、研究者が先行研究の理解から新しいアイデアの提案・検証・改良へと進むのを支援するシステムを目指すものです。

しかし、科学的発見の自動化において、アイデアを生成すること自体は課題の一部にすぎません。生成されたアイデアが本当に新しい貢献をもたらすかどうかを見極める必要があり、そのためには新規性のある方向性と、既存の研究を焼き直しただけの方向性とを区別する手段が必要です。この判断はしばしば別のLLM、すなわち「novelty judge(新規性判定者)」に委ねられます。

novelty judgeは、研究アイデアが先行研究と比べて新しいかどうかを、単独で、あるいは別のアイデアと比較する形で評価します。しかし、その構築方法に標準はなく、研究チームはモデル、プロンプト、評価形式、推論予算、場合によっては文献検索システムを独自に選択しており、こうした選択が判定結果に大きく影響し得ます。さらに、これらの判定者は、本来評価対象となるAI生成のアイデアではなく、人間が書いた論文のみで検証されることが多いという課題があります。

Ai2の新しいベンチマークの結果は、新規性評価そのものが信頼性に欠けることを示唆しています。GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6という6つのLLM判定者において、評価設定への一見小さな変更が、同じアイデアに対してまったく異なる判定を生み出しました。ある実験では、プロンプトの数語を変えるだけで、2つのアイデアのどちらがより新規性が高いかを識別するモデルの正解率が50ポイント以上変動しました。検索や追加の推論は判定を一貫して改善するわけではなく、専用に構築された2つの新規性評価システムは、シンプルなプロンプトによるClaude Opus 4.6のベースラインよりも成績が劣りました。AIが科学的発見でより大きな役割を担うのであれば、それが実際に新しいものを提案しているかどうかを判断するための、より信頼できる手段が必要になります。

ベンチマークの構築方法

novelty judgeが、より新規性の高い研究アイデアとそうでないものを確実に区別できるかを検証するため、まず研究の独創性について強いエビデンスが得られる事例を用意する必要がありました。そこでAi2は、ICLR 2026の査読コメントを対象とした自動パイプラインを構築しました。論文の採択自体を新規性の代理指標として扱うのではなく、査読者が明示的に貢献の独創性について論じている箇所を査読コメントから抽出しました。この区別は重要で、ある論文は特に新規性が高くなくても他の面で優れていれば採択され得ますし、逆に独創的な貢献を持つ論文が他の弱点のために却下されることもあります。

Ai2は、各ICLR研究領域で評価上位10%に入る採択論文のうち、査読者が新規性を肯定的に認め、かつどの査読者もそれに異議を唱えていないものを選び、154件の人間が書いた研究アイデアからなる「高新規性プール」を作成しました。逆の基準を適用し、評価下位10%の却下論文のうち、査読者が独創性について懸念を示しながらも誰も新規性を肯定的に認めていないものから145件を選び、「低新規性プール」を構築しました。査読コメント抽出プロセスの別途チェックでは、50件中47件でアノテーターが抽出された新規性シグナルの極性に同意しており、不一致の事例もいずれも、査読者が新規性を称賛したか異議を唱えたかの判定を変えるものではありませんでした。

この2つのプールを合わせたものが、最初の評価設定である「Human-Only」であり、人間が書いたアイデアのうち新規性の高低について強いエビデンスがあるもの同士を、novelty judgeが区別できるかを検証します。

ただし実際には、novelty judgeはAI生成のアイデアを評価する用途で使われることが増えています。そこでAi2は2つ目の設定「Human+Generated」を作成しました。このプールでは、検証済みの154件の人間のアイデアに、シンプルなLLM生成器が作成した154件のアイデアを組み合わせています。生成されたアイデアは人間が書いたアイデアよりも新規性が低いと仮定していますが、これはすべてのアイデアについて検証済みの判定ではなく、弱いラベルにすぎません。この生成器には研究領域と「新規性のあるアイデアを提案せよ」という指示のみが与えられ、文献検索、ツール、反復、フィードバックは一切ありませんでした。これにより、基本的な生成器によるアイデアと、査読者から独創性を明示的に認められたICLRトップ10%論文の貢献との間で、保守的な比較が可能になりました。

追加の検証として、専門家が30組のHuman+Generatedペア(最も優秀な判定者が誤った事例に重点を置いて選定)を独立にレビューし、さらに人間のアイデアとAI生成のアイデアを共通の構造に書き直して、判定者が単に文章スタイルの違いに反応しているだけではないかを検証しました。専門家は30組すべてで人間のアイデアを支持し、生成されたアイデアを新規性があると判断したものは一つもありませんでした。重要な点として、Ai2の主要な知見の多くはラベルに依存していません。2つの妥当な評価設定が同じアイデアのペアに対して正反対の答えを出すなら、その不一致自体が不安定性を示すものだからです。

小さな変更が判定結果を大きく変える

人間が書いたアイデアとAI生成のアイデアの集合を用いて、6つのLLM判定者(GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6)が、ポイントワイズ(絶対的な新規性評価)とペアワイズ(2つのアイデアを比較して最も新規性が高いものを選ぶ)の両方の形式で、どの程度うまく新規性を評価できるかを検証しました。プロンプト、推論予算、判定者が関連論文を見られるかどうか、アイデアのフォーマット、最終判定に統合する判定回数、そして(AI生成アイデアの場合は)どのモデルがそれを生成したか、という要因を1つずつ変化させました。

性能に最も大きな変化をもたらしたのは、モデルに新規性を判定させる際のプロンプトの与え方でした。例えば、GPT-5.4に対し、検証済みの人間のアイデアとAI生成のアイデアを1つずつ含むHuman+Generatedのペアを示す際に、2種類のプロンプトを使用しました。一方は「査読者はペアの中のちょうど一方のアイデアを新規性があると判断した」と伝えた上でどちらかを特定させるもの、もう一方は単に「どちらのアイデアが新規性があるか」を尋ねるだけのものでした。よりシンプルなプロンプトに切り替えると、正解率は93.5%から40.9%(偶然の水準を下回る)まで低下し、モデルは同じペアの半数以上で判定を変えました。これに対し、Human-Onlyデータセット(新規性のエビデンスが強いアイデアと弱いアイデアを組み合わせたもの)では、同じプロンプトの変更による正解率の変化は約7ポイントにとどまりました。これは、novelty judgeが人間の書いた研究に対しては比較的安定して見えても、AI生成のアイデアに対しては大きく異なる振る舞いをし得ることを示しています。

とはいえ、人間が書いたアイデアも影響を免れたわけではありません。Human-Onlyデータセットでも大きな変動が見られ、同じ変更によってClaude Opus 4.6の正解率は21ポイント動きました。変動幅はAI生成アイデアの場合ほど severe(深刻)ではなかったものの、存在はしていました。

また、普遍的に優れたプロンプトも存在しませんでした。例えば、アイデアを個別に判定させる際、「些細な、あるいは漸進的な貢献を新規性があると見なさないように」という注意書きの指示を外すと、一部の判定者では正解率が向上した一方、別の判定者では低下しました。つまり、あるモデルでうまく機能するプロンプトが、別のモデルには通用しないということです。

さらに、novelty judgeのよくある使われ方として、2つのAI生成器によるアイデア同士を比較するケースも検証しました。Claude Opus 4.5とClaude Sonnet 4.5のアイデアを組み合わせたペア、GPT-5.4とGPT-5.1のアイデアを組み合わせたペアを用意しました。テストしたプロンプトの変更の中で、6つの判定者平均で判定のおよそ4分の1から3分の1が変化しました。この不一致は、どちらの生成器がより新規性の高いアイデアを生み出すかを仮定せずに測定できるものであり、判定者のプロンプトの選び方がアイデア生成システム同士の比較に影響し得ることを示しています。

検索や推論の追加は、必ずしもより良い新規性判定を生むわけではありませんでした。GPT-5.6 Solに非常に高い推論予算と、arXivに限定したライブかつ反復的な検索を与え、あらかじめ取得済みの5件の論文要約を見るだけの標準的な検索付き判定者と比較しました(この比較ではすべての判定者がHuman+Generatedに対して1回ずつ判定を実行しています)。エージェント型の判定者のスコアはmacro-F1で0.78であり、0.89を記録したClaude Opus 4.6に11ポイント及ばず、よりシンプルなClaude Opus 4.5やGPT-5.4の設定とほぼ同程度の範囲にとどまった一方、現行のAPI価格では1件の判定あたり約10倍のコストがかかりました(なお、macro-F1は判定者が新規性のあるアイデアとないアイデアをどの程度正しく識別できるかを示す指標で、値が高いほど良いとされます)。

専用に構築された評価システムも、コストが大幅に高いにもかかわらず、より正確というわけではありませんでした。Human+Generatedのデータセットにおいて、低い推論設定と3回呼び出しの多数決を組み合わせたシンプルなClaude Opus 4.6のプロンプトは、macro-F1で0.854を達成し、評価コストの合計は2.59ドルでした。これに対し、文献に基づく検索・再ランキングパイプラインである「Idea Novelty Checker」は0.642のスコアで30.66ドル、Sakana AIの「AI Scientist」(新規性評価器がSemantic Scholarを反復的に検索する仕組み)は0.772のスコアで82.05ドルかかりました(この2つの専用評価システムはいずれもClaude Opus 4.6を使用し、判定1件につき1回の呼び出しとしています)。つまり、シンプルなプロンプトによるベースラインの方が、いずれの専用システムよりも正確であり、かつ大幅に安価だったということです。

これらの結果を総合すると、新規性評価は、これらのシステムが今後ますます評価を求められるAI生成アイデアに対して、特に脆弱であることが示唆されます。

より信頼できる新規性評価に向けて

Ai2の結果は、LLMによる新規性評価が依然として大きな未解決の課題であることを示しています。人間の書いた研究に対して信頼できるように見える判定者が、AI生成のアイデアに対しては異なる振る舞いをすることがあり、あるモデルを助けるプロンプトが別のモデルの性能を損なうこともあり、検索や計算量を増やしても必ずしもより一貫した判定が得られるわけではありません。

今後の研究では、判定者が実際に評価することになる種類のアイデアでテストを行うこと、プロンプトやモデル間の感度を測定すること、先行文献の取り込み方法を改善すること、そして科学文献の増加やAIシステムの進化に合わせて発展できるベンチマークを構築することが求められます。Ai2が公開したベンチマークと再利用可能なデータパイプラインは出発点であり、研究者はこれらを新しい査読データ、他の科学分野、将来世代のnovelty judgeに適用できます。

自動化されたアイデア創出は、もっともらしい研究の方向性を生成するだけでは成り立たず、それらのアイデアが本当に新しいものかどうかを見極める手段も必要です。現行のnovelty judgeの弱点を測定しやすくすることで、Ai2は研究者がAI生成の研究アイデアをより堅牢に評価する方法を構築する助けになることを期待しているとしています。