記事のサマリー(TL;DR)
- AllenAIは、長文書中でエンティティの状態がどのように変化するかを言語モデルがどれだけ正確に追跡できるかを測定するベンチマーク「StateBench」を公開しました。
- StateBenchは変数代入操作の複雑さに応じてR-trivial、aperiodic、soluble、general finiteの4段階の難易度で構成され、Krohn–Rhodes理論に基づく理論的な区分に対応しています。
- 事前学習済みモデルおよびGemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol・Lunaといったフロンティアモデルを評価したところ、入力が長くなるにつれ難しい状態追跡で性能が大きく低下する一方、タスクに対して直接学習させた再帰型・ハイブリッドモデル(Gated DeltaNetなど)はTransformerより大幅に長い系列へ汎化できることが示されました。
詳細
StateBenchとは
StateBenchは、長文脈における状態追跡(state tracking)を評価するためのベンチマークです。状態追跡とは、言語モデルが長い文書の中でエンティティに関する情報がどのように変化していくかを把握する能力を指します。これは、変数が代入・再代入されるコードの読解から、登場人物が移動したり物の所有者が変わったりする物語の追跡まで、幅広いタスクの基盤になるとされています。
記事では例として、推理小説で殺人が起きる直前に「ジョンがメアリーにナイフを渡した」という記述がある場合、それぞれの登場人物の状態が変化したことを把握する必要がある点を挙げています。さらに、状態追跡の難しさは一様ではなく、最新の更新を見つけるだけで済む問題もあれば、変化の連鎖をたどる必要があり、1つのステップの見落としが最終的な答えを狂わせるような、より難しい問題もあると説明されています。後者の例として、「エドワードがジョンのリュックにナイフを入れたことが既に分かっている状態で、ジョンがリュックの中身をメアリーに渡した」というケースが挙げられています。
Transformerには、長い依存関係の連鎖を伴う状態追跡の難しい変種について、理論的な限界があることが知られています。これが、実行中のメモリを前方に引き継ぐGated DeltaNetのような再帰型・ハイブリッドアーキテクチャの研究動機の一つになっているとしています。既存の状態追跡テストは最も難しいケースに焦点を当てる傾向がありますが、こうした新しい設計が一般的になるにつれ、各アーキテクチャがどの種類の状態追跡に対応できるのかを研究者が把握する必要があるとされています。
この目的のため、AllenAIは異なる複雑さの状態追跡問題を捉えるStateBenchを開発し、異なるアーキテクチャの言語モデル間の違いを評価するために使用したと述べています。その結果、これらのタスクで直接学習させた場合、再帰型・ハイブリッドモデルはTransformerよりもはるかに長い系列に汎化できる一方、Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol・Lunaを含むフロンティアモデルは、入力が長くなるにつれて難しい形式の状態追跡で依然として性能が崩れることが分かったとしています。
4段階の状態追跡レベル
StateBenchは、徐々に複雑な状態更新操作を許容する4段階の難易度で構成されています。プログラマー向けには、これらの難易度は異なる種類の変数代入操作として理解できるとされています。
- R-trivial問題:不変代入を使用します。変数の値は変化しないため、モデルは最初に設定された値を復元するだけで済みます。コードでは
let x = 4;のような形式に相当し、日常生活では生年月日のように固定されたものに例えられます。 - Aperiodic問題:値による再代入を許容します。モデルは最新の値を見つければよく、それ以前の値は無視できます。コードでは
x = 4の後にx = 2が続くような形式に相当し、日常生活ではサーモスタットの最新の設定が現在の温度を決めることに例えられます。 - Soluble問題:自己参照的な更新を加えます。各更新が現在の値の上に積み重なるため、モデルは単に最新の代入を見つけるのではなく、変化を前方に引き継ぐ必要があります。コードでは
x = x + 5のような形式に相当し、日常生活では各得点が合計に加算されるゲームスコアに例えられます。 - General finite問題:参照による代入を加えます。ある変数が別の変数の現在の値を取ることができ、更新間に依存関係が生じます。コードでは
x = yや2つの変数の入れ替えのような形式に相当します。5つのカップの1つにボールを隠し、位置を繰り返し入れ替える手品に例えられており、ボールを見つけるには入れ替えによって位置がどう変わるかを追跡する必要があるとしています。これはS₅状態追跡問題、すなわち5つの対象物の並び替えを連続的な入れ替えによって追跡する問題に相当し、4段階の中で最も難しいレベルに属し、状態追跡の限界に関する既存研究でも論じられているとしています。
これらのレベルは変数代入という観点で直感的に理解できる一方、有限モノイド上の語の問題とみなせる状態追跡問題がどのように原始的な要素に分解できるかを記述する代数の一分野、Krohn–Rhodes理論に根ざした理論的区分も表しているとされています。階層の各レベルは、異なる原始要素の集合から構築できる状態追跡問題のクラスに対応しています。4段階を公平に比較するため、一般の有限な変数代入の系列から出発し、そこから3つのより簡単なバージョンを導出することで、各難易度に対応する4つの比較可能なStateBench問題を作成しています。4つの問題はすべて同じ数の変数と区別可能な値を使用し、代入は系列中の同じ位置に出現し、代入の種類だけが変化するとしています。
判明したこと
事前学習済みモデル
AllenAIは、r-trivial、aperiodic、general finiteの各レベルについて、複数のオープンな事前学習済みモデルをテストし、状態追跡がどこで破綻するか、また異なるアーキテクチャが理論が予測する箇所で失敗するかどうかを調べました。標準的な理論的想定のもとでは、Transformerはr-trivialには頑健に対応でき(soluble、aperiodicにもある程度対応できる)、general問題では失敗すると予測されています。これに対し、より柔軟なメモリ更新を持つGated DeltaNetは、原理的には4段階すべてに対応できるとされています。
評価には、学習データと文脈長が完全に文書化されているオープンな事前学習済みモデルを使用しました。具体的には、70億パラメータのモデルであるOlmo 3(Transformer)とOlmo Hybrid(Gated DeltaNet層を追加したもの)に加え、2億7500万パラメータおよび27億パラメータのより小さいモデルが含まれています。これらのモデルはすべて同じデータで事前学習されており、学習時には64,000トークンを超える文脈を見たことがなく、多くのモデルをその長さを大きく超える入力でテストしたとしています。
各モデルを採点した結果、ほぼすべてのモデルがr-trivial問題では良好な成績を示した一方、aperiodic問題では入力が長くなるにつれて精度が低下し、general finite問題では偶然レベルの正答率にとどまったとしています。問題の形式も結果に影響しており、2億7500万パラメータのハイブリッドモデルおよびGated DeltaNetモデルは、RULER形式のr-trivial問題では天井に近い成績を示した一方、同じ問題をスプレッドシートの編集として表現した場合には偶然レベルの成績にとどまりました。この差が、StateBenchが同じ根本的な問題を複数の形式でテストする理由の一つであるとしています。
フロンティアモデル
続いて、Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol・Lunaの4つのフロンティアモデルをテストし、変数代入の系列を読んで各変数の最終的な値を生成するよう求めました。4つのモデルはすべてr-trivialおよびaperiodic問題では良好な成績を示しました。しかし、solubleおよびgeneral finite問題では、入力が長くなるにつれて精度が急激に低下し、最も長いgeneral finite問題では13%以下まで落ち込んだとしています。この要因の一つとして、難しいレベルではより多くのステップが最終的な答えに影響を与えるため、1つの更新を見逃すだけで結果を誤る余地が少なくなる、感度の高さが考えられるとしています。
タスクに対して直接学習させたモデル
次に、AllenAIは、難しいレベルにおけるモデルの困難がアーキテクチャ自体の限界を反映しているのか、それとも事前学習が単にそれらを解く方法をモデルに教えていないだけなのかを調査しました。対象タスクに対する直接学習は、状態追跡の問題がどの程度基盤となるアーキテクチャや最適化手法に起因するのか、事前学習に使われたデータに起因するのかを明らかにする、より有利な設定であるとしています。
AllenAIは、2億7500万パラメータのモデルをいくつかゼロから学習させ、StateBenchで評価しました。内訳はTransformerのバリアント2種、ハイブリッド2種、異なるメモリ更新の制約を持つGated DeltaNetのバリアント2種です。これらのモデルは最大256回の代入からなる系列で学習され、最大64,000回の代入(最大学習長の250倍)の系列でテストされました。
系列が長くなるにつれて、アーキテクチャ間の差異が現れ始めました。Gated DeltaNetおよびハイブリッドモデルは、テストした最長の系列(数万回の代入)に至るまで、r-trivial、aperiodic、soluble問題でほぼ完全に汎化しました。Transformerは易しいレベルは学習できたものの、系列が長くなると性能が劣化し、general finite問題は一度も学習できませんでした。最も難しいレベルでは、より柔軟なメモリ更新を持つGated DeltaNetのバリアントが最も遠くまで汎化し、学習時に見た最長系列の約10倍の長さまでほぼ完璧な成績を維持したとしています。
Gated DeltaNetおよびハイブリッドモデルについては、このギャップはアーキテクチャではなく学習に起因することを示しており、直接学習させることで、事前学習済みのモデルでは対応できなかった状態追跡のレベルを学習できるようになったとしています。一方でTransformerは異なり、直接学習させても最も難しいレベルを学習することは一度もできなかったとしています。
未解決の問題と公開について
いくつかの問題は未解決のままであるとしています。AllenAIの新しい証明によれば、より限定的なメモリ更新(非負の固有値)を持つGated DeltaNetは、論文で想定する固定精度の算術と丸め処理のもとで、すべてのaperiodicタスクと、繰り返し入力が偶数回起きたか奇数回起きたかを追跡するような特定のperiodicタスクを解くことができるとしています。ただし、この変種が階層のどこに正確に位置づけられるかは未解決であり、すべてのsolubleタスクを解けるかどうか、また数値精度やattention層との組み合わせがその能力にどう影響するかも含め、今後の課題とされています。
また、StateBenchは変数の数が固定であることを前提としていますが、実際のタスクでは時間の経過とともに新しいエンティティが登場することが多いとしています。例えば長い会話では、新しい人物や物が展開の中で登場し、モデルはそれらについても追跡を始める必要があります。現在のフレームワークはまだこの設定を扱っていないとしています。
新しい種類の再帰型・ハイブリッドアーキテクチャが登場する中で、それぞれがどの種類の状態追跡に対応できるかを理解することは、将来のシステムの開発・学習方法の指針になり得るとAllenAIは述べています。StateBenchが、モデルがどこで破綻するかを研究者がより細かく把握し、まだ不足している能力のための学習・評価データを構築する手段になることを期待しているとしています。さらに、より根本的には、現行モデルと比べてより頑健な状態追跡能力を持つ新しいアーキテクチャを研究者が開発するための指標となることを期待しているとしています。