記事のサマリー(TL;DR)
- Dharma AIは、Qwen3-4Bをベースにしたポルトガル語エッセイ自動採点システムにおいて、語彙(トークナイザー)を専門化する手法「VocabX」により、ベースモデルと学習データ、学習レシピを変えずに測定上の推論コストを77%削減したと説明しています。
- VocabXは既存手法(FVT、MWT、Liquid AIのin-place BPE)と異なり、トークンを出現頻度ではなく「トークンごとのコスト」で選定し、サブワード単位の結合と複数単語をまとめる「マクロトークン」の両方を同一の基準で扱います。
- 本記事の内容は査読中のVocabX論文の現行版に基づく数値であり、公開前に変更される可能性があるとDharma AIは述べています。
専門化の対象と前提条件
この記事で扱われている内容は、Qwen・Gemmaなど汎用オープンソースモデルをファインチューニングして特定ドメインやタスクに特化させたモデルを対象としています。Dharma AIが本番運用しているポルトガル語エッセイの自動採点システム(Qwen3-4Bベース)を具体例として扱っており、エッセイ本文・設問・参考資料を受け取り、各評価観点について採点とコメントを含むJSON形式の評価を返す仕組みです。モデル自体は既にタスク向けに訓練済みでしたが、トークナイザーは多言語・多様なテキスト向けに構築されたQwen3-4B標準のものがそのまま使われていた点が課題として挙げられています。
詳細
誰のためでもない語彙(A Vocabulary Built for Everyone)
主要な大規模言語モデルはトークンの単位でテキストを読み書きしており、トークナイザーがテキストをトークンに分割する方法を決めます。汎用モデルのトークナイザーは、ソースコードから契約書、中国語まで多様な分野・言語の大量のテキストで学習されています。汎用目的のモデルにとってはこの設計は妥当ですが、単一ドメインで使われるモデルにとっては2種類の無駄が生じると説明されています。
1つ目は「断片化」です。採点システムでは、すべての応答が同じJSON構造、同じ評価観点名、同じ評価フレーズから始まりますが、トークナイザーはこれらを多くのトークンに分割してしまいます。契約書であれば定型条項、コードであれば識別子が同様の例として挙げられています。本来1トークンで済む箇所に複数トークンのコストがかかり、モデルはリクエストのたびにそのコストを支払うことになります。
2つ目は「過剰」です。語彙には当該ドメインでは使われない数万のエントリが含まれており、モデルは生成する各トークンについてそれらすべてのスコアを計算します。例として、米国の生物の学力試験採点に特化したモデルは中国語をほぼ書くことがないにもかかわらず、各ステップで中国語トークンの確率をすべて計算していると述べられています。
読み込みは安く、生成は高くつく(Reading Is Cheap, Writing Is Expensive)
記事では、単にトークン数を数えて削減しようとする自然な発想は正しくないと指摘しています。推論には2つのフェーズがあります。
- プリフィル(prefill):入力全体をネットワークの1回のパスで処理します。GPUメモリから読み出した各重みは入力トークンごとに再利用され、律速要因は計算量です。
- デコード(decode):応答を1トークンずつ生成し、各トークンに対してフルパスが必要です。各重みの読み出しは数回しか使われず、GPUはメモリからのデータ到着待ちに多くの時間を費やします。律速要因はメモリ帯域幅になります。
この効果は、同社が運用しているような「中程度のバッチサイズで提供される小規模モデル」において特に強く現れるとされています。バッチ処理はリクエスト間で重みの読み出しを分散させ問題を緩和しますが、解消はしません。各デコードステップでは、処理済みのコンテキストを保持し、コンテキストの増加とともに大きくなるKVキャッシュ(アテンションメモリ)も読み出されます。
記事で計測された採点システムの事例では、生成トークン1つのコストは読み込みトークンの7.4倍であったとされていますが、この比率はハードウェア、問題設定、バッチサイズ、コンテキスト長などの要因によって変動し、7.4倍より大きくなる場合もあるとされています。一般的な傾向として、生成は読み込みよりコストが高いと説明されています。記事ではこれを、「1箱ごとに課金するが、出荷する箱は受け取る箱の7倍の料金がかかる配送会社」に例えています。入力と出力を同等に圧縮する手法では、得られる節約の大部分を取りこぼすとしています。
課金要素の3つ目として語彙そのものが挙げられています。モデル最終層(LMヘッド)は内部状態を語彙の各トークンに対するスコアに変換するため、語彙エントリごとに1行分のパラメータを保持します。Qwen3-4Bと同程度の規模のモデルでは、この行列がパラメータ全体の約10%を占めるとされています。大規模モデルではこの割合は気にならない程度ですが、小規模モデルには重くのしかかります。入力層は読み込まれるトークンの行だけを参照しますが、LMヘッドは生成するトークンごとに行列全体を読み出して乗算を行います。デコードは既にメモリ帯域に律速されているため、行が増えるほど毎ステップで移動するデータ量が増えます。ドメインで使われないエントリも、頻出するエントリと同じコストがかかるため、トークンを追加するとトークン数は減っても課金は増える場合があると説明されています。
VocabXはこの語彙サイズのコスト項そのものを選定基準には含めていないものの、2段階で語彙サイズを制御しています。サブワードの結合によって基本語彙をより小さなドメイン特化の語彙に置き換え、マクロトークンは固定の予算の下で追加されます。採点システムの事例では、出力層のエントリ数は約152,000から約65,000に減少しました。
既存手法が十分でなかった理由(Why Existing Solutions Fell Short)
モデルの語彙を適応させること自体は新しいアイデアではないとされ、文献中の参照手法として、fast vocabulary transfer(FVT)、multi-word tokenization(MWT)、Liquid AIのin-place tokenizer expansion(in-place BPE、元の語彙からBPE学習を継続する手法)が挙げられています。これらは既に断片化を減らす効果がありますが、Dharma AIがこの問題でテストしたところ、2つの限界が見つかったとしています。
- トークンをコストではなく頻度で選んでいる点。入力に頻出する表現は、応答にはあまり出現しないがより高コストな表現より価値が高く評価されてしまいます。
- 単一レイヤーでしか機能しない点。単語の分割方法を調整するか、フレーズ全体を1トークンに結合するかのいずれかしか行わず、両方を同一基準の下で行う手法はないとされています。採点システムにおける最大の無駄は、JSON構造のような長く繰り返されるスパンにあり、サブワード法ではこれを一部ずつ結合していく過程を経なければ到達できないと指摘されています。
解決方法(How We Solved It)
VocabXはこれら2つの限界に加え、1つ目の限界を解決する明白な方法で生じる3つ目の問題にも対処しています。
第一に、問いを変えました。 候補がいくつのトークンを節約するかではなく、どれだけのコストと時間を節約するかを問うようにしています。削減される各トークンは、それが現れるフィールド(システムプロンプト、ユーザーメッセージ、モデル応答)の価格を乗じて評価されます。計測された採点システムの事例では、応答中で節約される1トークンは入力中で節約される1トークンの7.4倍の価値があり、語彙はこれに基づいて構築されるとしています。
第二に、2つのレイヤーを同時に扱います。 配送会社の例えに戻ると、各品物をより上手に梱包して箱数を減らすか、毎週同じ12点セットが出荷されていることに気づき、そのセットをまとめて1箱で送るかという2通りの方法があります。VocabXは両方を行います。サブワード層では、ドメイン特有の単語の分割方法を再構築します。複数単語層では、短い表現から完全な行、JSON構造に至るまで、コーパス中で繰り返されるスパン全体を探し、それぞれを単一のトークン(「マクロトークン」と呼ばれる)に変換します。両方の層は同一のコスト基準の下で、それぞれ独自の予算の範囲内で選定されます。
これらのスパンを見つけるため、コーパス全体で繰り返されるスパンを自動で探索する5種類の「マイナー」を使用しています。それぞれ、長い単語、行全体、表現、完全な文、JSONやタグのような句読点を含む構造という異なる種類の繰り返しに特化しています。8種類のコーパスでの平均では、句読点を含む構造に特化したマイナーが最も貢献度が高く、コードに限ってはこのマイナー単独で17.5ポイントの寄与がありました。5種類すべてを使わない場合、採点システムにおけるトークン削減率は55.6ポイント低下するとされています。
第三に、サンプルでは見えない部分を推定します。 コストに基づいてトークンを選ぶには、既に選ばれたトークンを踏まえて各候補がなお節約できる量を知る必要がありますが、それを厳密に測定するには、トークンを選ぶたびにコーパス全体を再処理する必要があり、これを数万回繰り返すことになります。この規模で現実的な方法として文書のサンプルで測定する方法がありますが、その場合サンプルに含まれない候補の利得はゼロと評価されてしまいます。例えば、50,000文書中37回出現する表現は、400文書のサンプルでは約26%の確率でしか出現しません。契約書コーパスでは、400文書のサンプルに出現する候補は全体のわずか16.6%で、残りは一切評価されないとされています。
候補の利得は2つの要素から成ります。1つはコーパス全体でどれだけ節約できるかで、これはサンプルなしで正確に数えられます。もう1つは、既に選ばれたトークンでまだカバーされていない節約分がどれだけあるかで、これのみ推定が必要になります。サンプルで見えない候補については、ゼロとする代わりに、サンプルで見える候補の挙動に基づく統計的推定を用いるとしています。これにより、サンプル内では稀だがコーパス全体では頻出する候補も再び候補に挙がるようになります。この変更のみで、同じサンプル・同じ予算のもとで、契約書コーパスにおけるトークン削減率は44.7%から52.8%に向上したとされています。
採点システムで変わったこと(What Changed in the Grader)
実際の効果を測定するため、同じベースモデル、同じデータ、同じレシピ、同じシードを用いて、トークナイザーだけが異なる7バージョンの採点システムを訓練しました。すべてのバージョンは、RTX 5090 GPUとvLLM推論サーバーを備えた同一のテストマシン上で同じ500件のリクエストを実行し、コストは計測されたランタイムから算出されています。
モデルの応答は平均350トークンから101トークンに減少しました。コストは77.0%削減されました。採点精度とオフトピック・規則違反エッセイの検出精度を組み合わせた「ベンチスコア」で測定された品質は、0.703から0.810に向上しました。
ここに至るまでには軌道修正が必要だったとされています。最初のバージョンの語彙では、各評価観点の採点結果を、それを囲むJSON構造とまとめて単一のマクロトークンに融合していました。これは最も圧縮率の高い選択肢でしたが、品質が低下し、ベンチスコアは本番の採点システムの0.703を下回る0.689となりました。採点結果をマクロトークン内に含めたことで、採点結果と構造の組み合わせごとに異なるトークンの変種が生まれ、モデルは1ステップでその両方を選ぶことになっていました。採点結果に専用のトークンを与えることで、応答あたり2トークン分のコストが追加されましたが、ベンチスコアは0.810に向上し、さらに計測上はより低コストとなり、削減率は融合バージョンの73.3%に対して77.0%となりました。
この教訓は採点システムに限らないとされています。圧縮されたスパンがモデル本来の判断そのものを含んでいる場合、圧縮にはコストが伴います。目標は最も圧縮された語彙を作ることではなく、重要なトークンを保持したまま最も低コストな語彙を作ることだとしています。
採点システムを超えた検証(Beyond the Grader)
この効果が採点システム固有のものかどうかを確認するため、VocabXを3つの参照手法と、5つの公開ドメイン(契約書、医学論文、科学論文、ニュース、Pythonコード)、3つのモデルファミリー(Qwen3、Llama-3.1、Gemma-3)の組み合わせで比較しました。すべての手法は同じマイニング対象・テスト文書、同じ語彙サイズの上限を使用しています。
VocabXは15通りの組み合わせすべてにおいて、最も強力な参照手法よりも1.2〜9.3ポイント高い圧縮率を達成しました。推定推論コストについても、枝刈り版のVocabXが15通りすべてで上回り、平均の差はQwen3で10.2ポイント、Llama-3.1で7.5ポイント、Gemma-3で13.6ポイントでした。契約書ドメインでは、枝刈り版のVocabXは113,426語彙エントリで62.6%のトークン削減を達成し、最良のin-place BPE設定(207,803エントリを使用)の61.8%を上回りました。
重要なトークンにのみコストを払う(Paying Only for the Tokens That Matter)
VocabXはモデルを賢くするものではないとDharma AIは述べています。モデルが不要なテキストを1片ずつ書くためのコストを払うことや、使われることのない語彙をスコアリングすることをやめさせるものだとしています。同社の採点システムでは、同一のベースモデルと同一の学習レシピのまま、これにより測定上の推論コストが77%削減されました。専門化は通常データと重みから始まりますが、その一段階手前、語彙から始めることもできるとしています。手法の全容、各実験の結果表、採用されなかった介入策については、近日公開予定のVocabX論文に記載されるとしています。
出典
- Dharma-AI. “VocabX: Cost-Weighted Vocabulary Adaptation for Domain-Specific Language Models.” In preparation (2026).
- Gee, Leonidas, et al. “Fast vocabulary transfer for language model compression.” EMNLP Industry Track (2022).
- Gee, Leonidas, et al. “Multi-word tokenization for sequence compression.” EMNLP Industry Track (2023).
- Smith, Jimmy T.H., et al. “In-Place Tokenizer Expansion for Pre-trained LLMs.” arXiv:2607.15232 (2026).