記事のサマリー(TL;DR)
- Hugging Faceは、AWS Trainium向けPyTorchバックエンド「torch-neuronx」上でHub上の人気モデルが無変更で動作するかを確認できる「torch-neuronx model support」Spaceを公開しました。
- 各モデルについて、動作可否、シャーディングに使われたTrainiumコア数、コンパイルを含む実行時間(wall time)、ピークのデバイスメモリ、実行に使ったrun.pyスクリプトを確認できます。
- 表示内容はすべて公開データセット「aws-neuron/torch-neuronx-model-support」に基づいており、pandasなどで直接クエリすることもできます。
前提となる条件と制約
- 現時点でテスト対象はTransformersモデルのみで、選定対象はtext-generationタスクとimage-text-to-textタスクのモデルに限定されています。diffusersやsentence transformers、その他のtransformersタスクへの対応拡大は今後の計画とされています。
- テストが行われるのはTrainium2(trn2)インスタンス上で、モデルの重みを保持できる最小数のTrainiumコアにシャーディングした状態です。テスト対象は4台のTrainium2デバイス(最大16コア)に収まるモデルに限られます。
- テストでは32トークンを生成して検証します。単一コアの場合はCPU実行の同一チェックポイントとトークンを比較し、シャーディングされている場合は小規模な判定用モデルが生成テキストが流暢な英語かどうかを確認します。
- PASSという結果はスループットや、より長い生成を保証するものではないと説明されています。
詳細
モデルを検索する
Spaceを開くと、ダウンロード数やトレンドスコアでHub上位に入るモデルから独自に選定した「Selected」ビューが表示されます。各行には、動作結果、モデルがシャーディングされたTrainiumコア数、コンパイルを含む実行のwall time、ピークのデバイスメモリが示されます。
特定のモデルを調べたい場合は、「Trending」または「Downloads」ビューに切り替え、モデル名の一部を入力します。これらのビューはHub自体のランキングに従っており、テスト済みかどうかにかかわらず、タスクごとに一覧化されています。意図的にテスト対象から除外されたモデルについては、その理由がSpace上に表示されます(多くの場合は優先度の問題で、まれに真に互換性がないケースもあるとされています)。また、Neuronコンパイラ(neuronx-cc)のバージョンとTransformersのバージョンを選択して表示を切り替えることも可能です。
自分で実行する
モデルを選択すると、実行方法が表示されます。Spaceには、そのモデルがテストされたNeuronスタック、その上に追加でインストールするパッケージ、実際に実行されたrun.pyスクリプトが一覧表示されます。このスクリプトは、TorchNeuronの発表時の手順に従っており、from_pretrainedでモデルを読み込み(必要に応じてシャーディング)、静的キャッシュとtorch.compile(backend="neuron")を使って生成を行います。
例えば、AWS Neuron Deep Learning Container内のTrainium2(trn2)インスタンス上で該当スタックを用いる場合、パッケージをインストールした上で次のように実行します。
python3 run.py
モデルがシャーディングされている場合でもtorchrunは不要で、スクリプト自身が必要なtorch.distributedのランクを起動します。
初回実行時は、モデルのグラフのコンパイルから始まります。このステップを省略するには、同じコンパイラがテスト時にビルドしたグラフを、公開されているNEFFキャッシュバケットからコピーします。Spaceでは、対応するコンパイラバージョンを含む次のコマンドが示されます。
hf buckets sync hf://buckets/aws-neuron/torch-neuronx-neff-cache/neuronxcc-<version> /tmp/neff_cache
「動作する」の定義
各テストでは、モデルの重みを保持できる最小数のTrainiumコアにシャーディングした状態で、trn2インスタンス上にモデルをロードします。多くのモデルはテンソル並列でシャーディングされます。テンソル並列計画を持たないMixture-of-expertsモデルについては、エキスパート並列のみが使われます。
その後、32トークンを生成し検証します。単一コアの場合は、同一チェックポイントのCPU実行結果とトークンを比較します。モデルがシャーディングされている場合は、小規模な判定用モデルが、生成されたテキストが流暢な英語であるかどうかを確認します。
現時点では、4台のTrainium2デバイス(最大16コア)に収まるモデルのみがテスト対象です。PASSという結果は、スループットやより長い生成についての保証を意味するものではないとされています。
結果はデータセットとして公開
Spaceに表示される内容はすべて、公開データセット「aws-neuron/torch-neuronx-model-support」に由来しており、neuronx-ccとライブラリのバージョンの組み合わせごとにParquetファイルが1つ用意されています。各行には、モデルの結果、失敗時のエラー内容、スタック全体のバージョン、実行されたrun.pyの情報が含まれます。
このデータセットは次のように直接クエリできます。
import pandas as pd
df = pd.read_parquet("hf://datasets/aws-neuron/torch-neuronx-model-support/data")
df[df.model_id == "Qwen/Qwen3-0.6B"][["neuronx_cc", "library", "library_version", "neuron_cores", "result"]]
各結果の正確な意味については、データセットカードに記載されています。あるモデルがTrainium上で動作するかどうか気になったときは、このSpaceで調べることができます。