解決できる課題 事業紹介トップ 経営データ分析基盤 AI導入・業務改善 AI 業務アプリ 基幹システムのWeb化・段階移行 複雑な SaaS を専用 UI に Shopify Plus 移行・拡張 生成AI 活用(Multi AI) SEO / AIO / 広告運用 顧問・アドバイザリ インフラ構築 PHP脆弱性対策・更新 WordPressからEmDashへの移行 自社メディア投資・開発
AI導入 AI導入・業務改善 ChatGPTの社内導入 OpenAI Codex導入 AI運用・定着 Claude / MCP 総合 Claude Cowork Claude Code 導入支援 Claude Code 使いこなし支援 Claude Design MCP 開発・サーバー構築
EC構築・移行 Shopify Plus トップ EC-CUBEからShopifyへの移行 大手カートからの移行 Shopify 通常プラン EC サイト構築
実績
業界ニュース 業界ニュース トップ AI ニュース └ Claude └ ChatGPT・Codex └ Gemini └ その他 Shopify ニュース SaaS ニュース お知らせ(自社発信)
会社情報 相談する
2026.11.13

マルチベクトル埋め込みのためのトークンプーリング対応トレーニング(Sentence Transformers)

記事のサマリー(TL;DR)

  • ColBERTのようなマルチベクトル埋め込みモデルは、文書を複数のトークンベクトルで表現するため検索表現力が高い一方、文書数が増えるとベクトル数が膨大になりストレージを圧迫します。トークンプーリングは類似したトークンベクトルを統合して表現を小さくする手法です。
  • Hugging Faceは、プーリングを前提にエンコーダを学習させる「トークンプーリング対応トレーニング(pooling-aware training)」を、Sentence Transformersを用いて実装・評価しました。通常学習のモデルはpool_factor=4(ベクトル数を4分の1に圧縮)で、プーリングなしの場合に対しNanoBEIR nDCG@10の94.6%を維持していたのに対し、プーリング対応トレーニングを適用したモデルは同じストレージ予算で97.8%の維持率を達成したと報告されています。
  • この手法はStefan JosefのLearn to Poolや、LightOnによるプーリング正則化の研究を踏まえたものであり、本記事ではその再現可能な学習例と評価結果を示しています。

詳細

マルチベクトル検索が多くのベクトルを必要とする理由

単一ベクトル埋め込みモデルは文書全体を1つのベクトルに圧縮します。これに対し、ColBERTのようなマルチベクトルモデルは、文脈を反映したトークンベクトルの集合を保持し、クエリの異なる部分が文書の異なる部分とマッチすることを可能にします。例えば、「バッテリー持続時間の長いノートパソコン」についてのクエリは、文書中の別々の箇所にある「ノートパソコン」に関する記述と「バッテリー持続時間」に関する記述の両方に一致させることができます。

スコアリングにはMaxSimが使われ、各クエリベクトルが最もよく一致する文書ベクトルを選び、それらのスコアを合計します:

MaxSim(Q,D) = Σ_{q∈Q} max_{d∈D} q^T d

Fast-PLAIDがサポートする2ビットまたは4ビットの残差量子化を用いた場合でも、文書あたり数百個のベクトルを保存するとコストは積み上がります。記事によると、1座標あたり4ビットの場合、128次元のベクトルが200個あると、文書1件あたり量子化済み残差が12.8KB必要になり、100万文書では12.8GBに達します。各文書を50ベクトルにプーリングすると、同じ次元数・精度のまま3.2GBまで削減できるとしています。

多くの文書ベクトルが類似している場合があり、複数のトークンが密接に関連する概念を表していることで、それらをまとめて表現できる余地が生まれます。

トークンプーリング

HierarchicalTokenPoolingは、Ward階層クラスタリングを用いて類似したトークン埋め込みをグループ化します。各トークンベクトルを1つのグループとして開始し、グループ内のばらつき(各ベクトルとグループ平均との距離の二乗和で測定)の増加が最小になる2つのグループを繰り返し統合します。これにより、段階的に大きくなるグループの階層が構築され、予算に応じた圧縮レベルを選択できます。各グループはその平均ベクトルで代表され、MaxSimスコアリングのために再度正規化されます。

コードでは、以下のように文書長に比例した圧縮を設定できます。

from sentence_transformers.multi_vector_encoder.modules import HierarchicalTokenPooling

pooling = HierarchicalTokenPooling(pool_factor=4)

pool_factor=4では、文書は元のベクトルのおよそ4分の1を保持するため、長い文書は比例してより多くの容量を保持できます。デフォルトでは、先頭トークンは統合の対象から保護され、プーリングは文書埋め込みにのみ適用され、クエリ埋め込みは変更されません。

プーリング予算の選択

HierarchicalTokenPoolingは以下の3つの設定方法を提供します。

設定 意味
max_tokens=16 保護されたトークンを含め、文書あたり最大16ベクトル
pool_factor=4 各文書の元のベクトルのおよそ4分の1
distance_threshold=... 共有のWard統合距離しきい値。埋め込みの幾何に応じてベクトル数が変動

この違いは文書長がばらつく場合に重要になります。pool_factor=4では、長い文書はそのベクトルのおよそ4分の1を保持でき、内容に応じて表現が大きくなります。distance_thresholdでは、保持すべき明確に異なる埋め込みが多いほどベクトル数が増加します。

適応的プーリングのキャリブレーション

適応的プーリングは、共有の距離しきい値を用いて類似した埋め込みをより積極的に統合しつつ、内容が明確に異なる文書についてはより多くのベクトルを保持します。この手法は、プーリング対応の目的関数を用いずに学習された任意のマルチベクトルモデルにも利用できます。

しきい値を手動で選ぶ代わりに、目標とする平均ベクトル数に合わせてキャリブレーションできます。calibration_documentsにコーパスの代表サンプルを用意した場合、以下のように実行します。

from sentence_transformers import MultiVectorEncoder
from sentence_transformers.multi_vector_encoder.modules import HierarchicalTokenPooling

model = MultiVectorEncoder("lightonai/LateOn")
calibration_embeddings = model.encode_document(calibration_documents)

threshold = HierarchicalTokenPooling.calibrate_distance_threshold(calibration_embeddings, target_tokens=16)
pooling = HierarchicalTokenPooling(distance_threshold=threshold)

# 文書あたり平均16ベクトルを目標にプーリングを適用
document_embeddings = model.encode_document(documents_to_index, token_pooling=pooling)

キャリブレーションには文書埋め込みのみが必要で、インデックス作成時に再利用できるしきい値を返します。目標値は平均であるため、個々の文書は16より多い、または少ないベクトル数になる場合があります。達成される平均値は、別のコーパスでは変化する可能性があります。

トークンプーリング対応トレーニング

プーリングは通常のマルチベクトルモデルに対してもすでに有用です。課題が生じるのは、文書に検索上重要な区別があるにもかかわらず、ベクトルを統合するとその区別が復元しにくくなる場合です。元の学習目的は、モデルがこうした圧縮表現を扱うことを一切要求していませんでした。しかし、それを扱えるように学習させることができます。

Matryoshka埋め込みを使ったことがあれば、この学習原理はなじみ深いものでしょう。Matryoshkaは複数の埋め込み幅に検索の目的関数を適用し、より小さなプレフィックスでも有用であるよう学習させます。プーリング対応トレーニングは、トークンベクトル数が少ない表現に対してこの目的関数を適用します。

この例では、各学習バッチが2つの損失を生成します。

  1. 元の文書埋め込みを用いた検索
  2. 文書をおよそ4分の1のベクトル数に圧縮した後の検索

これらを平均します:

L = (1/2)L_unpooled + (1/2)L_pooled

第1項はモデルに完全な表現での検索を学習させ、第2項は、プーリング後も有用なマッチングが残るようにトークン埋め込みを配置することを学習させます。両方の目的関数は同一のエンコーダを更新し、圧縮前後の検索に関するフィードバックを与えます。

Wardクラスタリングはどのトークンをまとめるかについて離散的な決定を行います。学習時には、HierarchicalTokenPoolingはストレートスルー推定器を使用して、クラスタ割り当て自体を微分せずに、プーリングされたベクトルからその構成要素であるトークンへ勾配を伝播させます。これにより、エンコーダはプーリングされた表現を用いた検索誤差から学習できます。

Sentence Transformersにおける損失関数ラッパー

MultiVectorTokenPoolingLossは、既存のマルチベクトル検索損失をラップし、選択したプーラーを用いてそれを適用します。

from sentence_transformers import MultiVectorEncoder
from sentence_transformers.multi_vector_encoder.losses import (
    CachedMultiVectorMultipleNegativesRankingLoss,
    MultiVectorTokenPoolingLoss,
)
from sentence_transformers.multi_vector_encoder.modules import HierarchicalTokenPooling

model = MultiVectorEncoder("answerdotai/ModernBERT-base", similarity_fn_name="maxsim")
pooling = HierarchicalTokenPooling(pool_factor=4)
base_loss = CachedMultiVectorMultipleNegativesRankingLoss(model, mini_batch_size=64)

loss = MultiVectorTokenPoolingLoss(
    model,
    base_loss,
    token_poolings=[None, pooling],
    weights=[0.5, 0.5],
)

CachedMultiVectorMultipleNegativesRankingLossは検索の目的関数を提供し、各クエリがバッチ内の負例文書よりも関連文書を高くスコアリングするよう学習させます。デフォルトでは、モデルの類似度設定(この例ではMaxSim)とカーネル設定を用いるmodel.similarityを使用します。similarity_fn_name="meanmaxsim"で設定されたモデルは、学習時にMeanMaxSimも使用します。

勾配キャッシングにより、エンコーダは小さなミニバッチを処理しながら、より大きなバッチ内負例集合を保持できます。記事の学習スクリプトでは、ミニバッチサイズ64、学習バッチサイズ256を使用しています。

MultiVectorTokenPoolingLossは圧縮の目的関数を追加します。ここでNoneは元の埋め込みを使う変種を意味し、poolingはfactor-4の変種を提供します。2つの重みはそれぞれの損失を平均します。プーリングされた変種は計算済みのトークン埋め込みを再利用するため、プーラーを追加してもその変種のために別個のエンコーダ処理が必要になるわけではなく、クラスタリングとスコアリングの処理が追加されるだけです。

プーラーには、入力埋め込みを通じて勾配を保持するカスタムのBaseTokenPooling実装を使うこともできます。学習の目的関数は、実際にデプロイしたい表現に合わせて調整できます。factor-4のプーラーをデプロイ時の設定に置き換えたり、複数のプーラーを含めてそれぞれの損失に重みを設定したりできます。

完全な学習スクリプトには、データセット、トレーナー、検証用損失、学習中の小規模な検索評価が含まれています。リポジトリをチェックアウトした状態から、uvで両方のバリエーションをローカル実行できます。

uv run examples/multi_vector_encoder/training/token_pooling/training_cached_contrastive.py --baseline
uv run examples/multi_vector_encoder/training/token_pooling/training_cached_contrastive.py

スクリプトは学習とカーネルの依存関係を宣言しているため、uvがこれらを自動的にインストールします。互換性のあるカーネルは自動的に有効化されます。

また、Hugging Face Jobsを使ってクラウドGPU上で学習することもできます。CLIをインストールし、Jobsの実行とモデルのアップロードが可能なトークンでログインします。

pip install -U huggingface_hub
hf auth login

hf jobs uv run \
  --flavor a10g-small \
  --timeout 4h \
  --secrets HF_TOKEN \
  -- https://raw.githubusercontent.com/huggingface/sentence-transformers/main/examples/multi_vector_encoder/training/token_pooling/training_cached_contrastive.py

これにより、A10G GPU上でプーリング対応のバリエーションが4時間の制限時間で実行されます。HF_TOKENをシークレットとして渡すことで、学習完了時にスクリプトが学習済みモデルをHubアカウントへアップロードできるようになります。通常損失のベースラインも実行するには、スクリプトURLの後に--baselineを付けて同じコマンドを繰り返します。

オプションのカーネルによる高速化

MaxSimスコアリング、Wardクラスタリング、対応するバックボーン演算は、カーネルを用いて高速化できます。学習とカーネルの依存関係をインストールします。

pip install -U "sentence-transformers[train,kernels]"

上記の学習例では、損失を構築する前にモデルとプーラーの初期化を以下のように置き換えます。

model = MultiVectorEncoder(
    "answerdotai/ModernBERT-base",
    device="cuda",
    similarity_fn_name="maxsim",
    use_kernels=True,
)
pooling = HierarchicalTokenPooling(pool_factor=4)

階層プーラーはデフォルトでモデルのカーネル設定を継承するため、モデル側でカーネルを有効化するだけで済みます。Sentence Transformersは環境に応じて互換性のあるカーネルを選択し、代替が利用できない箇所では既存の実装を使用します。例えば、デフォルトのMaxSimカーネルは、完全なトークン類似度行列をメモリ上に構築せずにクエリと文書をスコアリングしますが、CUDAとTritonを必要とします。デフォルトのWardクラスタリングカーネルは、CPUではなくCUDA上で実行することで階層クラスタリングを大幅に高速化し、記事では設定によってSciPyより30〜150倍高速になるとしています。

学習済みモデルの利用

プーリング対応の学習済みモデルを読み込み、圧縮された文書埋め込みで検索を行う例です。カーネル設定はモデルと一緒には保存されないため、推論時にもカーネルを使いたい場合は読み込み時にuse_kernels=Trueを追加します。

from sentence_transformers import MultiVectorEncoder
from sentence_transformers.multi_vector_encoder.modules import HierarchicalTokenPooling

model = MultiVectorEncoder("tomaarsen/mve-ModernBERT-base-token-pooling")
pooling = HierarchicalTokenPooling(pool_factor=4)

queries = ["Which planet is known as the Red Planet?"]
documents = [
    "Venus is often called Earth's twin because of its similar size and proximity.",
    "Mars, known for its reddish appearance, is often referred to as the Red Planet.",
    "Jupiter, the largest planet in our solar system, has a prominent red spot.",
]

query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents, token_pooling=pooling)

print([len(embedding) for embedding in document_embeddings])
# [5, 6, 5]
print(model.similarity(query_embeddings, document_embeddings))
# tensor([[16.0037, 25.9879, 22.8159]], device='cuda:0')

# 比較として、トークンプーリングを使わない同じモデルの場合:
# [18, 21, 19]
# tensor([[16.6115, 27.6060, 24.1766]], device='cuda:0')

プーラーはエンコーダのフォワード処理後に文書埋め込みを圧縮し、合計58ベクトルを16ベクトルまで削減する一方、クエリ埋め込みは変更しません。Marsが最も高い類似度スコアを受け取り、Jupiter、Venusと続く順位は、文書ベクトルの保存数を大幅に減らしても維持されています。

学習済みの同じモデルを使いながら、推論時にpool_factorを変更して別のストレージ予算を試すこともできます。繰り返し利用する場合は、MultiVectorEncoder初期化時にtoken_pooling=poolingを渡すことで、実行時のデフォルトにすることも可能です。プーラーの対象タスク設定は、どの入力を圧縮するか(例:文書のみ)を引き続き制御します。

評価結果

記事では、answerdotai/ModernBERT-baseから、それぞれ新規の128次元トークン射影を持つ2つのモデルを学習しています。

  • tomaarsen/mve-ModernBERT-base-token-pooling-baseline:キャッシュ型対照損失のみを使用
  • tomaarsen/mve-ModernBERT-base-token-pooling:上述の未プーリングとfactor-4の目的関数でラップしたキャッシュ型対照損失を使用

両方の学習は、同じ12万件のMS MARCOトリプレットを1エポック、シード42、同一の初期化・最適化設定で実行されています。学習時のトークン上限は300で、短いクエリは追加の文脈的クエリベクトルを提供するため少なくとも32トークン位置まで拡張されています。2つの実験で異なるのは損失関数のみで、ハイパーパラメータ探索は行っていないとしています。

両モデルはNanoBEIR@13で評価され、平均nDCG@10(%)が報告されています。図では、プール係数2、3、4、6に加え未プーリング検索について、通常学習とプーリング対応学習が比較されています。表には固定上限と適応的しきい値も含まれ、学習による効果が他のプーリング設定にも及ぶことが示されています。

推論時のプーリング 平均ベクトル数 通常モデル プーリング対応モデル 差分(ポイント)
未プーリング 193.22 51.84 52.39 +0.55
pool_factor=2 96.86 50.10 51.74 +1.64
pool_factor=3 64.74 49.70 51.45 +1.76
pool_factor=4 48.68 49.03 51.23 +2.20
pool_factor=5 39.04 48.13 50.28 +2.15
pool_factor=6 32.62 47.07 49.85 +2.78
max_tokens=64 54.76 49.27 50.89 +1.63
max_tokens=32 29.58 48.25 50.12 +1.87
max_tokens=16 15.60 46.61 49.26 +2.65
max_tokens=8 7.99 43.12 46.61 +3.48
max_tokens=4 4.00 37.22 43.00 +5.78
distance_threshold(キャリブレーション済) 54.76 50.10 51.24 +1.14
distance_threshold(キャリブレーション済) 29.58 48.38 50.96 +2.58
distance_threshold(キャリブレーション済) 15.60 47.23 49.63 +2.41

適応的プーリングについては、各エンコーダとNanoBEIRコーパスごとに、未プーリングの文書埋め込みを用いて上限64、32、16における平均ベクトル数に一致するよう個別にしきい値をキャリブレーションしています。短い文書は、これらの平均値をそれぞれの上限より低くします。

学習時に使用したpool_factor=4では、nDCG@10は49.03から51.23に向上し、未プーリング検索と比較して文書ベクトルの保存数は74.8%削減されています。これによりスコア維持率(プーリング後の平均nDCG@10を各モデル自身の未プーリング値で割った値)は94.6%から97.8%に向上しています。未プーリング検索自体のスコアも51.84から52.39へ向上しています。

この効果は固定上限や適応的プーリングにも及んでおり、学習時には完全表現と比例プーリングのみを使用したにもかかわらず効果が確認されたとしています。文書あたり平均29.58ベクトルの場合、適応的プーリングはプーリング対応モデルの未プーリングスコアの97.3%を維持しつつ、文書ベクトルの保存数を84.7%削減しています。同じ予算での通常学習モデルの維持率は93.3%です。

圧縮技術の組み合わせ

インデックスサイズが主な関心事である場合、記事の著者は以下の順序でこれらの選択肢を検討するとしています。

  1. Fast-PLAIDなどを用いた、4ビット、2ビット、1ビットへの埋め込み量子化で、座標あたりのストレージを削減する。
  2. 文書ベクトルの数を削減するトークンプーリング。本記事で示したプーリング対応ファインチューニングを任意で併用する。
  3. 各トークンベクトルの次元数を削減するMatryoshkaトークン埋め込み。小さい幅での検索品質を維持するファインチューニングを任意で併用する。

モデルのデフォルトの次元数が128より大きい場合は、Matryoshkaによる切り詰めとファインチューニングをより早い段階で検討するとしています。これらの手法は組み合わせることができるため、使用する検索エンジンとコーパスに応じて、結果として得られるインデックスサイズと検索品質を評価する必要があるとしています。

MultiVectorMatryoshkaLossは、切り詰め後も有用であり続けるようトークン埋め込みを学習させます。これをMultiVectorTokenPoolingLossでラップすることで、エンコーダの埋め込みを圧縮設定間で再利用しながら、より小さい次元数とより少ない文書ベクトル数の両方を同時に学習できます。

付属の評価スクリプトは、未プーリング検索、上限64・32・16・8・4ベクトル、プール係数2〜6を計測するため、自分のモデルにおける品質とストレージのトレードオフをプロットできるとしています。

参考文献

  • Stefan Josef. Learn to Pool: Lightweight Fine-Tuning for Flexible Multi-Vector Compression
  • Benjamin Clavié, Antoine Chaffin, Griffin Adams. Reducing the Footprint of Multi-Vector Retrieval with Minimal Performance Impact via Token Pooling
  • Antoine Chaffin. After the party comes the free lunch: regularizing ColBERT models to enhance pooling capabilities and reduce index footprint
  • Luyu Gao, Yunyi Zhang, Jiawei Han, Jamie Callan. Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup
  • Introduction to Matryoshka Embedding Models

コードとモデル

  • トークンプーリング対応トレーニングの例とREADME
  • 完全な学習スクリプト
  • NanoBEIR評価スクリプト
  • サンプルチェックポイント:tomaarsen/mve-ModernBERT-base-token-pooling、tomaarsen/mve-ModernBERT-base-token-pooling-baseline
  • Sentence Transformers互換の事前学習済みマルチベクトルモデル
  • マルチベクトルモデル向けMatryoshka対応トレーニング
  • Fast-PLAID