記事のサマリー(TL;DR)
- Mixture-of-Experts(MoE)モデルにおけるエキスパート枝刈りの新手法「HOPE(Higher-Order Pruning of Experts)」が発表されました。従来の一次手法(各エキスパートを独立にスコアリングする手法)とは異なり、エキスパート間のペア(二次)の相互作用を考慮します。
- Qwen3.5-122B、Qwen3.5-35B、GLM-4.5-Airの3モデルと2種類の校正データセットで評価した結果、HOPEは全体で最良の平均ランク(2.07/5手法中)を達成し、50%枝刈り時の平均ランクは1.58(次点のREAPは2.42)だったと報告されています。
- Qwen3.5-35B-A3Bを50%枝刈りした場合、SWE-Bench Proで42.3のスコアを達成し、未枝刈りモデルの41.8とほぼ同等だった一方、REAPは36.2(13%の性能低下)だったとしています。HOPEを実行するためのパッケージとAPI、制約事項も公開されています。
背景:エキスパート枝刈りの課題
MoEモデルは数千億パラメータ規模のLLMを実現してきましたが、推論時にはすべてのエキスパートMLPがメモリ上に存在する必要があり、実際にはトークンごとにそのごく一部しか使われないという課題があります。記事によれば、Qwen3.5-122Bは48のMoE層それぞれに256のエキスパートを持ち、約250GBのパラメータメモリの95%がこれらのエキスパートMLPによって占められていますが、あるトークンに対して実際に使われるのは各層でわずか8エキスパートだとされています。
エキスパート枝刈りは、重要度の低いエキスパートを永続的に削除することでこの問題に対処する直接的な方法です。枝刈りは、動的なロード・オフロードで生じるレイテンシの問題を回避でき、追加の学習を必要とせず、量子化とも組み合わせられるという利点があるため、MoEを縮小するための有力な手法になっていると説明されています。
課題は、どのエキスパートを削除しても安全かを見極めることです。既存の枝刈り手法は、校正データセットに基づき各エキスパートに独立のスカラー重要度スコアを付与し、各層ごとに重要度の低いエキスパートを削除します。これらは「一次手法」と呼ばれ、各エキスパートの貢献が他のエキスパートと独立であると仮定しています。
しかし実際には、エキスパートは協調的なグループを形成します。記事の実験では、共活性化されるエキスパートの一貫したクラスターが観測されており、エキスパート同士の協調がMoEの安定した特性であり、モデル性能にとって重要であることは既存の研究でも示されているとされています。こうした相互作用を無視すると、特に高い枝刈り率において最適でない枝刈りにつながるとしています。
今回発表された論文では、ペア単位のエキスパート間相互作用を考慮する二次手法「HOPE」が導き出されました。50%枝刈り時には、HOPEがすべての手法の中で最良の平均ランクを達成し、エージェント型コーディングタスクにおいて次点の枝刈り手法に対して最大6.1%の向上が得られたと説明されています。
詳細
エキスパートは単独で動作しない
標準的なMoEでは、各層にE個のエキスパートがあり、各入力トークンxは独立にK個のエキスパートにルーティングされます(典型的にはK=8)。ルーティングは単一の層によって行われ、各エキスパートkについてソフトマックス正規化されたゲート重みg_k(x)を生成し、最も高いゲート重みを持つK個のエキスパートが選ばれて、アクティブなエキスパート集合T(x)(Eの部分集合)を形成します。層の出力は、T(x)に含まれる各エキスパートkの出力f_k(x)にゲート重みg_k(x)を掛けて合計したものになります。
重要な点として、選択された集合T(x)内のエキスパートは独立ではありません。エキスパートは、一貫して共に活性化される安定した協調グループを形成します。これは既存の文献でも観察されており、エキスパートの共選択パターンは学習の初期段階から現れ、学習を通じて安定することが示されているとしています。
このため、MoE層からエキスパートを枝刈りする際には、これらのエキスパート間の高次の効果を考慮する必要があります。エキスパートAを削除すること自体は問題なさそうに見えても、Aと頻繁に協調し依存しているエキスパートBが重要である場合、Aを削除するだけで協調グループを壊してしまう可能性があります。一次手法はAとBを別々にスコアリングするため、この点を完全に見落とすと説明されています。
この影響は高い枝刈り率で増幅します。最大50%のエキスパートを削除する場合、多くの協調的なリンクを壊すリスクがあり、ここで二次の枝刈りが最も有利になるとされています。
HOPEによる枝刈り集合の特定方法
(導出の詳細は対応する論文の付録Aに記載されているとのことです。)
あるMoE層からP個のエキスパート集合を削除すると、任意のトークンxに対して選択される集合T(x)が変化する可能性があります。枝刈りされたエキスパートの代わりに、次に高いゲート重みを持つエキスパートが選ばれます。この結果生じる層出力の変化が「枝刈り誤差」です。目標は、校正セットのトークンx全体にわたって、この枝刈り誤差を最小化するような、あらかじめ定めた枝刈り予算|P|を満たす枝刈り集合Pを見つけることです。
しかし、Pに関して枝刈り誤差を直接最小化することは計算上困難です。枝刈り誤差は代替エキスパートの特定に依存し、それ自体が枝刈り集合Pに依存するためです。HOPEはこれを回避するため、枝刈り誤差の支配的な成分を厳密に上から抑える扱いやすい代理指標Zを定義します。Zは二乗和であるため、これを展開すると自然にエキスパートのペア間の交差項が生じます。これが一次手法では捨てられていた相互作用項です。
最適な枝刈り集合を見つけるため、HOPEは校正セット全体でZの期待値を最小化し、これは二値二次計画問題として定式化できます。ここで行列F(E×E次元)の各要素F_i,jは、エキスパートiとjが両方とも共活性化されたトークンにおける、ゲート重み付きの出力積の平均値を表します。対角成分F_k,kは個々のエキスパートの重要度を測り、非対角成分(i≠jのF_i,j)はペア単位の協調的な貢献を測ります。
このF行列は校正データセット上で収集され、連続緩和を用いて得られた二次計画問題(QP)を解くことで(その後二値解に丸めることで)最適な枝刈り集合が得られます。
記事ではGLM-4.5-Air(1層あたり128エキスパート、合計1060億パラメータ)について、早期・中期・後期の3つの代表的な層における相互作用行列Fの可視化例が示されており、エキスパートをクラスタリングすることでブロック構造が明らかになり、対角線上の明るいブロックが強いペア間相互作用スコアを持つエキスパートのグループを示しているとされています。
実務上のコストについては、HOPEは他のエキスパート枝刈り手法と同じ校正パス(校正データに対する1回のフォワードパス)を必要とします。追加で必要なのは二次計画問題を解く処理のみで、これは非凸問題ですが、標準的なQPソルバーで効率的に解くことができ(各層あたり1~2秒程度)、校正にかかる時間が支配的であるため、一次手法と比較して追加のオーバーヘッドは無視できる程度だとしています。
REAPとの関連
HOPEは、最先端の一次エキスパート枝刈り手法であるRouter-weighted Expert Activation Pruning(REAP)と強い関連があるとされています。HOPEのF行列は対角成分に個々のエキスパートの重要度スコアを符号化しており、この対角成分はREAPが各エキスパートを独立にランク付けするために使うスコアをほぼそのまま再現します(エキスパート貢献度の分散の分だけ異なる)。FUの対角成分はREAPのエキスパートランキングをSpearman順位相関ρ=0.988でほぼ完全に再現しているとのことです。したがって、HOPEがREAPに対して達成する改善は、F行列の非対角成分にある二次の相互作用項によるものだと説明されています。
評価結果
Qwen3.5-122B、Qwen3.5-35B、GLM-4.5-Airの3モデルと、Evol-CodeAlpacaおよびSWE-Bench Verifiedトラジェクトリの2種類の校正データセットを用いてHOPEを評価しました。Tulu3スイートおよびSWE-Bench Pro(エージェント型コーディング)を使い、枝刈り後のモデルを4つの一次ベースライン手法(REAP、MAN、EAN、Frequency)と、10%から50%までの枝刈り率で比較したとしています。
全条件を通じて、HOPEは最良の平均ランク(5手法中2.07)を達成し、最も高い割合でトップ1(39%の条件)およびトップ2(67%の条件)に入ったとされています。一対一の比較では、HOPEは過半数の条件で他のすべてのベースラインに勝っています。予想通り、HOPEの優位性は枝刈り率が高くなるほど拡大するとしています。削除されるエキスパートが増えるほど、壊れる協調リンクが多くなり、F行列の非対角成分がより重要になるためです。
50%枝刈り時には、HOPEの平均ランクは1.58に改善し(次点であるREAPの2.42に対して)、これは展開の観点で最も関連性の高い設定であり、メモリ節約の幅が大きいことで、より長いコンテキスト、より深い推論、より多くのツール呼び出しに対応できるとされています。
HOPEの優位性が最も顕著なのは、モデルが実際のGitHub issueを自律的に解決する必要があるエージェント型コーディングベンチマークSWE-Bench Proだとしています。これらの問題は、コーディング、ツール呼び出し、推論などを組み合わせた多様なタスクを多くのターンにわたって含み、多様なエキスパートの組み合わせを引き出す可能性が高く、協調構造を保持することが最も重要になる領域だと説明されています。
Qwen3.5-35B-A3Bを50%枝刈りした場合、HOPEはSWE-Bench Proで42.3を達成し、未枝刈りモデルの41.8とほぼ一致した一方、REAPは36.2に低下(13%の性能低下)したとされています。枝刈りされたモデルが未枝刈りのベースラインと同等かそれ以上の結果になることがあるのは、関連性の低いエキスパートを取り除くことで対象タスクにおけるノイズが減るためである可能性が高いとされ、この効果はHOPEに限らず枝刈り手法全般で観察されているとしています。さらに、コーディング中心の校正データを使った場合でも、HOPEを含むどの枝刈り手法でも非コーディング系ベンチマークが大きく低下することはなく、HOPEは使用する校正データセットにかかわらずTulu3スイート全体で良好な性能を示したとしています。
HOPEはより多くの協調エキスパートを残す
HOPEの優位性は、相互作用行列F全体を対象に最適化を行うことに由来するとしています。この影響を実際の枝刈り判断において理解するため、HOPEとREAPの判断が食い違うエキスパートを調べたところ、HOPEのみが残したエキスパートは、REAPのみが残したエキスパートと比較して一貫して高い協調スコア(他の保持エキスパートとの平均F値)を持っていたとしています。つまり、QP最適化の一環として、HOPEは個別に高いスコアを持つ一部のエキスパートを犠牲にしてでも、協調的なクラスターを保持することを優先しており、ベンチマーク性能の向上がこのトレードオフが有利であることを裏付けているとしています。
HOPEの実行方法
HOPEを実行するための基本的なパッケージが公開されており、「校正(calibrate)」「解く(solve)」「枝刈り(prune)」の3ステップで構成されています。このパッケージはQwen3、Qwen3-Next、Qwen3.5、GLM-4.5でテストされているとのことです。
ステップ1:校正
hope calibrate \
--model-path Qwen/Qwen3.5-35B-A3B \
--prompts calibration_prompts.txt \
--out-path observations.h5
校正ステップでは、エージェント型のロールアウトか単一ターンのトレースかにかかわらず、校正データに対して1回のフォワードパスを実行します。HuggingFace transformersを用いて各MoE層のフォワードパスにフックし、トークンごとに選択されたエキスパート、ゲート重み、出力ノルム、ペア単位の共活性化統計を記録します。このステップの出力はF行列で、HDF5ファイルに保存されます。
ステップ2:QPを解く
hope solve \
--obs-path observations.h5 \
--prune-frac 0.50 \
--out-path pruneset.json
このコマンドはF行列を実体化し、連続緩和によって二値二次計画問題を解きます。1層あたり数秒かかり、出力は枝刈り集合を含むJSONファイルです。これが技術的にはHOPEアルゴリズムの最終的な出力だとしています。
ステップ3:枝刈り
hope prune \
--model-path Qwen/Qwen3.5-35B-A3B \
--pruneset-path pruneset.json \
--out-path ./Qwen3.5-35B-A3B-pruned-50
パイプラインを完了するため、このコマンドで枝刈り集合から実際に小さいモデルチェックポイントを作成します。枝刈り後のモデルは標準的なHuggingFaceチェックポイントであり、ディスク上でもメモリ上でもサイズが小さくなり、vLLMやSGLangのモデル定義に変更を加える必要はないとしています。
より簡潔なPython APIも公開されています。
from hope.calibrate import calibrate
from hope.solve import solve
from hope.prune import prune_model
calibrate("Qwen/Qwen3.5-35B-A3B", calibration_prompts, "observations.h5")
solve("observations.h5", prune_frac=0.50, out_path="pruneset.json")
prune_model("Qwen/Qwen3.5-35B-A3B", "pruneset.json", "./Qwen3.5-35B-A3B-pruned-50")
HOPEの制約事項
HOPEの優位性は、枝刈り率が高い場合(40~50%)に最も顕著だとしています。枝刈り率が低い場合(10~20%)は、REAPやMANのような一次手法が競合することがあり、HOPEの優位性は縮小するとしています。
また、他の多くのエキスパート枝刈りアルゴリズムと同様に、HOPEは各層を独立に枝刈りし、層をまたいだ相互作用は考慮していません。論文では層をまたいだHOPE(cross-layer HOPE)の理論的な枠組みを示していますが、その結果はまだ予備的なものだとしています。
最後に、HOPEはペア単位の相互作用を捉えていますが、3つ組以上のより高次の相互作用も追加的な手がかりを提供し得るものの、それらを推定することは組み合わせ的に困難だとしています。
詳細情報
詳細は対応する論文およびコードベースに記載されています。
引用情報:
@article{tseng2026hope,
title={Higher-Order Pruning of Experts in Mixture-of-Experts Language Models},
author={Tseng, Alex M. and Kaul, Prannay and Zancato, Luca and Xia, Wei and Soatto, Stefano},
journal={arXiv preprint arXiv:2609.18916},
year={2026},
}
[“Mixture-of-Experts”, “HOPE”, “モデル圧縮”, “エキスパート枝刈り”, “REAP”, “Qwen3.5”, “GLM-4.5”]