記事のサマリー(TL;DR)
- AI2はCarnegie Mellon、NVIDIA、Johns Hopkinsの研究者と共同で、ユーザーの誤解に基づく質問にAIアシスタントがどう応答するかを測るベンチマーク「XYBench」を公開しました。プログラミングや料理・住宅修理などの日常活動にまたがる8,115件の実世界の質問から構成され、EMNLP 2026でBest Resource Paper Awardを受賞しています。
- Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B、DeepSeek-V4 Proの5モデルを評価したところ、いずれも元の(誤った)アプローチに沿った解決策を提示しがちで、人間の参照回答と比べてユーザーを本来の目標に向けた解決策へ誘導する度合いが低いという結果が示されました。
- XYBenchは「提示された要求(Y)への解決策」「本来の意図(X)への解決策」「誤解の指摘」という3つの観点から回答を評価する仕組みで、研究者がモデルの改善が誤解の認識や代替案の提示にどう影響するかを測定できるようにすることを目的としています。
詳細
XYBenchとは
真に役立つAIアシスタントには、適切な詳細を伴って正しい質問をするユーザーだけでなく、見当違いの質問をするユーザーを助けられる能力が必要だとされています。AI2が公開したXYBenchは、こうした誤解に基づく依頼にAIアシスタントがどう応答するかを測る、8,000件を超える質問から成るベンチマークです。例として、カップケーキがまだ温かすぎてフロスティングが塗れないのが本当の問題であるにもかかわらず、「カップケーキからずり落ちるフロスティングを固くする方法」を尋ねるケースが挙げられています。XYBenchはEMNLP 2026でBest Resource Paper Awardを受賞しました。
人が達成したいこと(X)とは異なるアプローチ(Y)を思い込み、そのYについて助けを求めてしまう状況は「XY問題」として知られています。カップケーキの例では、本人はフロスティングを固着させることに意識が向きすぎて、カップケーキの温かさこそが本当に対処すべき問題であることに気づいていません。
Carnegie Mellon、NVIDIA、Johns Hopkinsの研究者とともに開発されたXYBenchは、LLMのトラブルシューティング能力における重大なギャップ――ユーザーの依頼が暗黙の誤解に基づいている場合にそれを認識し、本来の目標に対応した解決策へ適切に誘導できるかどうか――を明らかにするものです。プログラミングや料理・住宅修理といった日常活動にまたがる8,115件の実世界の質問をもとに、モデルがこうした誤解を特定できるか、そして回答の中で効果的な解決策を優先できるかを測定するベンチマークを導入しています。
XYBenchで評価されたClaude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B、DeepSeek-V4 Proの各モデルは、ユーザーの問題に対する解決策を提案することは多いものの、回答の焦点は元の誤ったアプローチに当てられたままであることが多いという結果でした。人間の参照回答とは異なり、5つのモデルはいずれもユーザーをその誤ったアプローチから引き離し、本来の目標に適した解決策へ誘導する度合いが低いという結果でした。
人々はさまざまな知識水準でAIシステムを利用しており、問題への最善のアプローチを必ずしも把握しているとは限りません。AI2は、モデルの改良がアシスタントの「誤った前提の認識」「提案されたアプローチがうまくいかない理由の説明」「より効果的な代替案の提案」――ユーザーが正しい質問の仕方を知らない場合であっても――をどの程度向上させるかを、XYBenchによって研究者が測定できるようになることを期待しているとしています。
XYBenchの構築方法
XYBenchは4つのソースから構築されました。内訳はStack Overflowから1,557件、Stack Exchangeから184件、手作業で選定した102件、そしてWikiHowのガイドから生成した6,272件です。それぞれの質問について、本人が明示的に求めている「提示された要求(Y)」と、文脈から推測できる根底にある目標である「意図された要求(X)」を特定しています。
公開フォーラムの質問については、スコアが最も高い人間の回答3件と、存在する場合は採用された回答(accepted answer)を用いて、意図された要求と可能な解決策を特定しました。提示された要求に答えるだけで十分だと判断されたケースは除外しています。WikiHowについては、Sonnet 4.5を用いて手順ガイド内のもっともらしい誤解に関する質問を生成し、専門家が根底にある目標を明示せずとも推測できる十分な文脈を含むように調整しました。文字通りの要求に答えるだけで問題がほぼ解決してしまう事例は除外されています。
回答がどの程度役立つかの評価方法
あるモデルが、吸引力の弱い掃除機について、より強力な掃除機を勧める説明に数段落を費やした上で、ホースの詰まりを確認するよう簡単に触れるだけの場合があります。もし詰まりが吸引力低下の原因であれば、それを取り除くことで問題は解決する可能性があります。より役立つ回答は、ユーザーが吸引力を回復させたいという意図を認識し、原因の診断に焦点を当てるものだとされています。
これは、文脈とコミュニケーション上の意図が意味をどう形作るかを扱う言語学の一分野である語用論(pragmatics)に基づく考え方です。モデルがこの理解を回答に反映しているかを検証するため、XYBenchは各回答について次の3つの側面を測定します。
- Pragmatic solution(語用論的解決策):モデルの回答が、提示された要求(Y)と意図された要求(X)それぞれへの解決策を含んでいるかを個別に記録します。
- Pragmatic emphasis(語用論的な焦点):モデルの回答が提示された要求(Y)に焦点を当てているか、意図された要求(X)に焦点を当てているか、あるいは両者のバランスを取っているかを測定します。
- Misconception identification(誤解の特定):モデルの回答が、誤ったアプローチ(Y)を避けたり思いとどまらせたりしながら、根底にある目標(X)へユーザーを誘導しているかを測定します。
XYBenchでは、Claude Sonnet 4.5が自動判定役を務めます。各モデルの回答内の個々の提案を分類し、回答の語用論的な焦点を評価します。Sonnet 4.5の判定を検証するため、2名の人間レビュアーが、XYBenchの質問に対するモデル回答500件を独立して評価しました。両レビュアーの平均で、判定役との一致率は、解決策の有無については97.5〜100%、誤解の特定については84.6〜93.3%、語用論的な焦点については74.2〜79.8%でした。
実験結果
Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B、DeepSeek-V4 Proの5モデルを、1問につき1回答というシングルターン設定でXYBench上で評価しました。人間の参照回答についても同じ指標で別途評価しています。
4つの出典すべてにおいて、どのモデルも根底にある目標(X)への解決策よりも、提示された要求(Y)への解決策を含める傾向が強いという結果でした。Stack Overflowの質問では、提示された要求への解決策が回答の75〜86%に含まれていたのに対し、根底にある目標への解決策は59〜71%にとどまりました。
解決策に軽く触れているだけでは、それが回答の焦点になっているとは限りません。前述の掃除機の例では、モデルがホースの詰まりの解消に簡単に触れつつ、回答の大部分をより強力な掃除機の購入に費やす場合があります。こうした回答は、根底にある目標への解決策を含むとはカウントされるものの、実際にはモデルは提示された要求に焦点を当てていたことになります。そこで焦点そのものも別途測定したところ、Stack Overflowにおいてモデルが主に根底にある目標に焦点を当てていた回答は35〜41%にとどまり、提示された要求に主に焦点を当てていた回答は47〜57%でした。残りの回答では、提示された要求と根底にある目標にほぼ同等の重みが置かれていました。
ユーザーの目標を明示することが役立つかどうかも検証されました。このオラクル実験では、各質問とともに提示された要求(Y)と意図された要求(X)の両方を与えました。Stack Overflowにおいて、Sonnet 4.6が根底にある目標への解決策を含める割合は59%から67%に上昇した一方、誤解の特定率は47%から34%に低下しました。人間の参照回答があるソース全体でも、この実験で全モデルが依然として誤解の特定において人間に劣っていました。意図を提示することは一定の助けにはなったものの、人間の回答とのギャップを一貫して縮めるには至りませんでした。この結果は、意図の検出が課題の一部に過ぎず、それが提示された要求と食い違う場合にモデルがその意図に基づいて行動する必要があることを示唆しています。
別の実験では、モデルが回答を書く代わりに回答を評価する際に、有用な助言を識別できるかどうかを検証しました。前述の5モデルに加えてGPT-4.1にも、それぞれの質問について2つの回答の選択肢――文字通りの要求に焦点を当てたものと、誤解を説明した上で根底にある目標に対応したもの――を提示しました。Stack Overflowにおいて、6モデルすべてが71〜84%の割合で目標に焦点を当てた回答を選びました。これに対し、主要評価において5モデルが自ら書いた回答のうち、主に根底にある目標に焦点を当てていたのは35〜41%にとどまりました。この結果は、有用な助言を識別する能力と、それを実際に作り出す能力との間にギャップがあることを示しており、これは選択式のテストだけでは見えてこない点だとされています。
評価にとっての意味
研究者はXYBenchを用いて、プロンプトや学習方法の変更が、モデルの誤解の特定、ユーザーの根底にある問題への解決策の提示、そしてその解決策を回答の焦点にすることの向上につながるかどうかを検証できます。これらの挙動を個別に測定することで、ある側面での改善が他の側面の改善にもつながるかどうかを研究者が確認できるとしています。
今後の課題としては、推測された意図――ユーザーが文字通り尋ねたことだけでなく、実際に必要としていること――に基づいてモデルが行動できるようにする学習手法の検証が挙げられています。現時点でのXYBenchは英語の質問を対象とし、主に手順的な問題を扱っており、他の言語や文化、対話形式の設定への拡張は今後の課題として残されています。AI2は、ユーザーの最初の質問が誤った前提に基づいている場合でも有用な助言を提供できるモデルの構築を、XYBenchが可能にすることを期待しているとしています。