記事のサマリー(TL;DR)
- Ai2はペンシルベニア大学の共同研究者とともに、研究アイデアの提案文を文献と照らし合わせながら発展させるシステム「LitPivot」を開発しました。
- LitPivotはAsta Paper Finderで取得した論文を使い、編集中の提案箇所に関連する文献を整理し、引用文献からの抜粋に基づく批評と、研究者が採用・編集・却下できる改訂案を提示します。
- 17人の研究者を対象とした研究で、LitPivotを用いて開発された研究アイデアは、テキストエディタとAIチャットツールを使って開発されたものよりも、ドメインの専門家から「文献に根拠づけられている」と評価されました。参加者も改訂後のアイデアをより新規性・有用性が高いと感じ、関連文献への理解が深まったと報告しています。LitPivotはUIST 2026(デトロイトで開催)で発表される予定です。
詳細
「文献起点のピボット」とは何か、なぜ難しいのか
新しい論文に出会うことで、研究アイデアの方向性が変わることがあります。研究者は、自分が提案しようとしていた貢献がすでに誰かによって取り組まれていることを発見したり、論文の中に未解決の問題を見つけて新たな研究の方向性に着想を得たりします。筆者らはこのプロセスを「文献起点のピボット(literature-initiated pivot)」と呼んでいます。これは、先行研究を読むことによって促される研究方向の変化であり、研究者がこれまで別々に管理せざるを得なかった2つの活動――アイデアを発展させることと、それをどの文献と照らし合わせて検証するかを決めること――を結びつけるものです。
筆者らが4件の完了した計算機科学の研究プロジェクトの会議記録を分析したところ、4プロジェクト全体で21件の文献起点のピボットが確認されました。これらは、既存研究とアイデアを差別化して新規性を確立するタイプと、既存研究とアイデアを整合させてその上に積み上げるタイプの、2種類に分類されました。本プロジェクト自体も、その貢献内容を定めるまでに2回のピボットを経たとのことです。
こうした変化は対応が難しいものです。ある形成的研究(formative study)では、5人の研究者がテキストエディタと標準的な検索ツールを使って提案文を作成しました。彼らは、アイデアを発展させることと、それを文献に照らして批判的に評価することを同時に行うことに苦労しました。ある論文がアイデアの新規性に疑問を投げかけた場合、研究者たちは先行研究に裏付けられた、具体的な改訂案を求めていました。この知見が、LitPivotの評価機能の設計に反映されています。LitPivotは、文献に裏付けられた批評と、選択されたアイデア部分の改訂に関する具体的な提案とを組み合わせて提示します。
LitPivotの仕組み
LitPivotでは、研究者はまずエディタで短い提案文を作成し、「ファセット・ハイライト(facet highlighting)」と呼ばれる機能を有効にします。この機能は、記述されたアイデアを問題、貢献、評価といった異なるファセット(facet)に分割します。あるファセットを確認するには、研究者はドラフト中の該当箇所をクリックします。すると、隣接するパネルに、選択されたファセットに基づいて関連論文がグループ化されて表示され(例えば、評価ファセットが選択されている場合は、使用されている評価手法ごとに論文がグループ化されます)、最も関連性の高いグループがハイライトされます。研究者は論文を選択し、評価を要求すると、批評を裏付ける抜粋とともに提案された改訂案を確認できます。その後、文献は改訂後のファセットとの関連性に基づいて再ランキングされます。
具体的には、LitPivotは研究アイデアを「問題」「提案する貢献」「評価計画」の3つに分割します。各ファセットにはそれぞれ独自の関連文献セットとランキングがあります。LitPivotは取得した論文を編集中のファセットを中心にグループ化し、研究者がドラフトの評価にどの論文をシステムに使わせるかを選択できるようにします。
Prismのような科学論文執筆環境や、Claude Codeのようなエージェント型アシスタントと並んで、LitPivotは初期段階の研究アイデアを発展させるための新しいワークフローを探求しています。すなわち、アイデアを評価するための文献を選び、その証拠を使ってアイデアを改訂し、アイデアが変化するにつれてどの論文が重要かを再検討する、というワークフローです。LitPivotの論文グループと紐づけられた批評は、提案文の各部分についてこれらのステップを明示化する一方で、研究者はドラフトと、その評価に使われる根拠の両方をコントロールします。
問題提起の文章については、LitPivotはその問題が存在するという証拠と、それが重要である理由を探します。提案された貢献を評価する際には、選択された論文がすでに取り組んできた内容と、それらの論文が記述する限界点・今後の課題とを比較し、残されたギャップを探します。評価計画については、提案されたテストが研究課題に対応しているか、また類似の研究がどのように評価されてきたかを確認します。そのうえでシステムは、裏付けとなる引用を添えた書き直し案を提案します。
アイデアの1つのファセットを変更すると、別のファセットが古くなってしまうことがあります。LitPivotは、改訂された貢献をもはや適切に評価できていない評価計画など、改訂が必要と思われる箇所にフラグを立てます。研究者は提案を採用・編集・却下でき、提案が発展するにつれて新しい論文を要求したり、文献のランキングを更新したりすることができます。
調査結果
実験室での研究では、17人の研究者がそれぞれ、1つの割り当てられたアイデアをLitPivotで、もう1つを比較対象のツール(テキストエディタと、選択した論文について質問できるAIツール)で開発しました。両条件とも同じ論文集を使用しました。どちらのシステムが使われたか知らされていない2人のドメインの専門家が、「関連文献をどの程度うまく使ってアイデアを裏付け、正当化しているか」という単一の基準で、できあがった提案文を評価しました。
LitPivotで開発された提案文は、より高い評価を受けました。同じ研究の参加者はまた、LitPivotを使った場合の方が比較対象のツールを使った場合よりも、関連文献への理解が深まったと報告し、アイデアの新規性と有用性について自己評価による改善も大きいと報告しました。ドメインの専門家も参加者のアイデアを確認し、LitPivotを使って改訂されたアイデアの方が、関連文献に有意に優れた根拠づけがなされていると評価しました。
実験室での研究のある参加者は、一貫性があり事実に基づいた合成医療記録を生成するという提案から出発しました。LitPivotは、複数回の通院にわたる一貫性が、選択された文献における潜在的なギャップであることを特定しました。この参加者は抄録を確認し、単回の通院記録に関する論文を除外しました。再度の評価の後、提案は複数回の通院記録間の矛盾を検出するという内容に絞り込まれました。この例は、アイデアの改訂と、それを評価するために選ぶ文献とが、互いに情報を与え合う様子を示しています。
フォローアップ研究では、5人の研究者が自分自身の進行中のプロジェクトで、30分間のセッションの中でLitPivotを使用しました。参加者は、プロジェクトの初期段階だけでなく、複数の段階にわたってLitPivotを使用しました。2人は新しいアイデアを文献と照合して検証するために使用し、3人はより成熟したアイデアのフレーミングを洗練させるために使用しました。ある研究者は、異なる分野からの類似概念を見ることが、自分の貢献を再構成する助けになったと述べています。これらの研究は、LitPivotが初期段階の探索と、既存の研究方向の洗練の両方を支援しうることを示唆していると、筆者らは説明しています。
科学的発見を支える取り組み
Ai2では、研究者が検証可能なアイデアを形成し、その裏付けとなる証拠を検討する手助けとなるAIを開発しています。Astaは、公表された研究成果からの理論生成(Theorizer)、データに基づく統合・仮説生成・検証(AutoDiscovery)を通じてこの取り組みを支えており、HARPAは新興の研究動向を踏まえた有望な仮説を生成します。Scideatorは、研究者が先行研究の要素を組み合わせて新しいアイデアを作り、その新規性を評価できるようにするものであり、IdeaSynthは文献に根拠づけられたフィードバックによる反復的な改良を支援します。
筆者らの最近の研究「Old Ideas, Novel Problems」は、自動化された新規性評価の限界を検証し、わずかなプロンプトの変更が、同一のアイデアに対するAI審査員の判定をどのように変えうるかを示しています。LitPivotは、関連文献の選択を改訂プロセスの一部とすることで、この一連の研究をさらに発展させるものです。
研究者は、アイデアが発展するにつれて、提案文を評価するために使う論文を変更でき、批評と裏付けとなる抜粋を使って、どのように改訂するかを決めることができます。このシステムは、提案文の問題・貢献・評価計画にわたって、こうした判断をつなげます。筆者らは、LitPivotから得られる知見が、科学者が既存の知識の上に新たな知見を積み重ね、初期段階のアイデアをそれぞれの分野における新たな貢献へと発展させる助けになることを期待していると述べています。