記事のサマリー(TL;DR)
- AWS Trainium向けのPyTorchネイティブバックエンドTorchNeuronを使い、torch.profilerとブラウザベースのビューアNeuron Explorerで推論のプロファイリングを行う手順を、プロファイリング未経験者を前提に解説しています。
- RMSNormという小さな演算を、(1) 個別のPyTorch演算によるナイーブ実装、(2) PyTorch組み込みのtorch.rms_norm()、(3) ナイーブ実装をtorch.compileでコンパイルしたもの、の3パターンで比較し、key_averages()テーブルとNeuron Explorerのトレースで挙動の違いを示しています。
- 計測結果では、ナイーブ実装のNeuronデバイス時間が2,355 µsだったのに対し、torch.rms_norm()は403 µs、torch.compile適用版は376 µsとなり、いずれの融合(フュージョン)手法もナイーブ実装の約6分の1の時間になったと報告されています。
前提:プロファイリング対象の環境とツール
この記事では、AWS Trainium(深層学習の学習・推論向けに設計されたAIチップ)と、そのオープンソースのPyTorchネイティブバックエンドであるTorchNeuronを使用しています。TorchNeuronは、eager実行、torch.compile、標準的なPyTorch APIを含む標準的なPyTorchワークフローを、最小限のコード変更でTrainium上でサポートします。また、TorchNeuronはNeuron Kernel Interface(NKI)と統合されており、Trainiumハードウェア向けのカスタムオペレータや性能最適化が可能です。
記事を通じて、以下の内容を習得できるとしています。
- Neuronバックエンドを使ってtorch.profilerを設定し、クリーンなトレースを取得する方法
- key_averages()テーブルを読み、どの演算がNeuronデバイス時間を消費しているかを特定し、Self CPU時間と比較する方法
- 1つの演算が、フレームワークのディスパッチからランタイムのスケジューリング、NeuronCore上でのハードウェア実行に至るまでをNeuron Explorerで追跡する方法
- 同一演算の3つの実装間で、これらのシグナルがどう変化するか
詳細
PyTorchバックエンドとしてのNeuron
ワークロードをプロファイリングする前に、NeuronがPyTorchとどのように統合されているかを理解しておくと役立つとしています。Neuronバックエンドは、PyTorchのPrivateUse1拡張ポイントを使用します。この仕組みにより、cudaのような専用のディスパッチキーを追加することなく、アクセラレータをフレームワークに統合できます。torch_neuronxパッケージは、アップストリームのPyTorchと連携して、Neuronをネイティブバックエンドとして登録します。この拡張メカニズムの詳細は、「Facilitating New Backend Integration by PrivateUse1」を参照するよう案内されています。
プロファイラのセットアップ
Neuronワークロードをプロファイリングする際は、以下の2つのオブジェクトを使用します。
- NeuronConfig:キャプチャするNeuronのデータストリームとNeuronCore、出力の書き込み先を制御します。これをtorch.profiler.profileに
experimental_configとして渡します。 - NeuronProfiler:NeuronConfigを受け取り、
export_traceコールバックを提供します。このコールバックは、フレームワークのトレース(trace.json)をNeuronのシステムトレースと合わせて書き出します。
nc = NeuronConfig(
modes=[ProfileMode.DEVICE, ProfileMode.RUNTIME],
profile_output_dir=OUTPUT_DIR,
capture_enabled_for_nc='0',
correlate_device_time=True,
)
exporter = NeuronProfiler(nc)
modesパラメータは、デバイス命令やランタイムトレースなど、キャプチャするデータストリームを選択します。capture_enabled_for_ncパラメータは、トレース対象のNeuronCoreを選択します。correlate_device_time=Trueを設定すると、トレースからデバイス時間がkey_averages()テーブルに反映され、CPU時間とNeuronデバイス時間を比較できるようになります。パラメータの完全なリファレンスと利用可能なProfileModeの値については、NeuronConfig Profile Modesのドキュメントを参照するよう案内されています。
ツール:Neuron Explorer
Neuron Explorerは、システムトレース、デバイスタイムライン、エンジンごとの内訳をブラウザ上で確認できるビューアです。SSHトンネル経由、またはVisual Studio Code拡張機能からアクセスできます。この記事では、Explorerを使ってkey_averages()が数値で示す内容を視覚的に確認し、ディスパッチの間に何が起きているかを調べています。
プロファイリング後、出力ディレクトリにはシステムトレースが含まれ、デバイスデータをキャプチャした場合は対になった.neffファイルと.ntffファイルが含まれます。NEFF(Neuron Executable File Format)にはコンパイル済みのNeuron実行ファイルが含まれ、対応するNTFFにはそのハードウェア命令トレースが含まれます。両ファイルは、ペアであることを示す同一の数値ハッシュを共有しています。
Neuron Explorerでプロファイルを開くには、システムプロファイルまたは結合プロファイルの場合は出力ディレクトリ全体をアップロードします。デバイスのみのプロファイルの場合は、対応する.neffファイルと.ntffファイルを個別にアップロードします。UIおよびコマンドラインでの操作手順は「Step 5: Upload your profile」を参照するよう案内されています。
RMSNormのプロファイリング
最初の解析対象として、算術演算とリダクション演算が明確な一連の流れを持つ小さな演算であるRMSNormをプロファイリングします。同じ演算について、以下の3つの実装を計測しています。
- 個別のPyTorch演算(乗算、平均、加算、逆数平方根、乗算)によるナイーブなRMSNorm
- PyTorch組み込みのtorch.rms_norm()(単一の融合Neuronカーネルに落とし込まれる)
- 1番目と同じ演算を使い、torch.compileを適用したナイーブなRMSNorm
各スクリプトは同じ入力、同じプロファイラ設定、同じスケジュールを使用しており、結果を直接比較できるようにしています。この検証を再現するための全スクリプトは、torch-neuronxのexamplesディレクトリで公開されています。
プロファイル1:ナイーブなPyTorch演算
まず、個別のPyTorch演算でRMSNormを記述します。各行は1つ以上のATen演算に対応し、中間テンソルを生成する可能性があります。
device = torch.device('neuron')
x = torch.randn(4, 512, dtype=torch.bfloat16, device=device)
weight = torch.ones(512, dtype=torch.bfloat16, device=device)
def rms_norm_fn(t):
x_sq = t * t # square
mean_sq = x_sq.mean(dim=-1, keepdim=True) # mean of squares
rms = torch.rsqrt(mean_sq + 1e-6) # 1 / sqrt(mean_sq + eps)
return t * rms * weight # normalize + scale
プロファイラの呼び出しには、Neuronバックエンド向けに必要な2つの引数があります。
ProfilerActivity.PrivateUse1を含め、Neuronデバイスからのアクティビティを収集する。NeuronConfigをexperimental_configとして渡し、Neuron固有のKineto機能を有効にする。
スケジュールは、4回のprof.step()呼び出しにわたってwait=2、warmup=1、active=1を使用します。これにより、初期セットアップのオーバーヘッドを含まない状態で、ウォームアップ後の1回のイテレーションが記録されます。プロファイラのループ内でtorch.neuron.synchronize()を呼び出す必要があります。この同期処理を行わないと、デバイスの処理が完了する前にプロファイラがエクスポートしてしまい、Neuron時間の列が空になる可能性があります。
with torch.profiler.profile(
activities=[ProfilerActivity.CPU, ProfilerActivity.PrivateUse1],
experimental_config=nc,
record_shapes=False,
on_trace_ready=exporter.export_trace,
schedule=torch.profiler.schedule(wait=2, warmup=1, active=1),
) as prof:
for step in range(4):
with torch.no_grad():
_ = rms_norm_fn(x)
torch.neuron.synchronize()
prof.step()
プロファイリング終了後、key_averages()テーブルを確認します。self_privateuse1_time_totalでソートすると、デバイスコストが最も高い演算が先頭に表示されます。ここに示すテーブルは、Neuronデバイス時間を報告するRMSNorm関連の演算のみに絞り込んだものです。key_averages()の完全な出力には、メモリ割り当てやホスト・デバイス間転送などのCPU側のイベントも含まれます。
print(prof.key_averages().table(sort_by="self_privateuse1_time_total", row_limit=4))
key averagesテーブルによると、3回のaten::mul呼び出しがNeuronデバイス時間の最大の割合を占めています。このテーブルは、どのATen演算が実行されたか、何回実行されたか、CPUとNeuronデバイスでそれぞれどれだけの時間を費やしたかを示しています。aten::mulは3回の乗算を実行するため、デバイス時間の合計が最も大きくなっています。
| Name | # Calls | Self CPU | Self NEURON | % NEURON |
|---|---|---|---|---|
| aten::mul | 3 | 60.9 μs | 1,164.5 μs | 49.5% |
| aten::add | 1 | 26.6 μs | 434.6 μs | 18.5% |
| aten::rsqrt | 1 | 15.6 μs | 415.0 μs | 17.6% |
| aten::mean | 1 | 21.1 μs | 340.8 μs | 14.5% |
Self NEURON total: 2.355 ms
各行はそれぞれの関数に直接対応しています。aten::mulは、x * x、x * rms、そしてweightによる最終的な乗算の3回で実行されます。aten::meanは最後の次元をリダクションします。aten::addはイプシロン値を加算し、スカラー値がCPU上で開始されるためホストからデバイスへのコピーを発生させます。aten::rsqrtは逆数平方根を計算します。
Explorerでトレースを読む
Explorerでは、時間は左から右に流れ、イベントのライフサイクルは上から下に流れます。各ATen演算は同じパターンをたどります。フレームワークのレーンで生成され、ランタイムのレーンでnrta_execute_scheduleとしてスケジューリングされ、ハードウェアのレーンでnc_exec_runningとして実行されます。
システムトレースビューは、イベントをレーンに整理して表示します。デフォルトのグループ化モードでは、ラベルは「instance/PID/subsystem/identifier」というパターンに従います。
| レーン | ラベルのサフィックス | 表示内容 |
|---|---|---|
| Framework dispatch | framework/TID: | オペレータのディスパッチイベント(PrivateUse1ランタイム)。スレッドIDごとにグループ化。 |
| Framework device | framework/Stream: | デバイスとの相互作用イベント(PrivateUse1ドライバ)。ストリーム番号ごとにグループ化。 |
| Neuron Runtime | neuron_rt/NC: | Neuron Runtime APIの呼び出し。論理NeuronCoreごとにグループ化。 |
| Neuron Hardware | neuron_hw/NC: | ハードウェア実行イベント。物理NeuronCoreごとにグループ化。 |
eagerモードでは、各演算は独立して実行されます。依存関係チェーンビューアを使うと、aten::mul.Tensorがフレームワーク層からランタイムスケジューリングを経てデバイス実行に至るまでを追跡できます。この依存関係チェーンビューアは、フレームワーク・ランタイム・ハードウェアの各レーンにわたる1つの演算のライフサイクルをハイライト表示します。
プロファイル2:torch.rms_norm
個別の演算を、PyTorch組み込みのrms_norm関数に置き換えます。Neuronはこの演算を単一の融合カーネルに落とし込みます。
def rms_norm_fn(t):
return torch.rms_norm(t, [512], weight)
融合されたRMSNormは、key averagesテーブル上では1つのデバイス演算として表示されます。
| Name | # Calls | Self CPU | Self NEURON | % NEURON |
|---|---|---|---|---|
| aten::_fused_rms_norm | 1 | 47.6 μs | 403.3 μs | 100% |
Self NEURON total: 403.3 μs
融合されたRMSNormは、個々の算術演算を別々にディスパッチするのではなく、フレームワークからハードウェアまで1本の経路をたどります。
ローワリング経路の比較
ナイーブな実装では、各演算が独立してディスパッチ境界を越え、それぞれ独自のフレームワーク→ランタイム→ハードウェアという経路をたどります。融合された実装では、1回のPython呼び出しが計算全体をカバーします。トレースには1回のディスパッチと1回のハードウェアイベントのみが含まれ、構成要素となる演算間のギャップは発生しません。
プロファイル3:torch.compileを用いたナイーブなPyTorch
最後の例として、元のナイーブなRMSNorm関数をtorch.compileでコンパイルします。@torch.compile(backend="neuron")を使用すると、TorchDynamoがPythonのバイトコードをFXグラフとしてキャプチャし、AOTAutogradがそれをATen演算に落とし込みます。Neuronバックエンドは、演算を個別にディスパッチするのではなく、完全なグラフを受け取ります。これにより演算を融合し、メモリアクセスを最適化し、グラフを単一のNEFFアーティファクトとしてコンパイルします。このアーティファクトは1回のハードウェアディスパッチとして実行されます。
@torch.compile(backend='neuron', fullgraph=True)
def naive_compiled(t):
x_sq = t * t
mean_sq = x_sq.mean(dim=-1, keepdim=True)
rms = torch.rsqrt(mean_sq + 1e-6)
return t * rms * weight
コンパイルされた関数は、key averagesテーブル上で1つの「Torch-Compiled Region」として表示されます。
| Name | # Calls | Self CPU | Self NEURON | % NEURON |
|---|---|---|---|---|
| Torch-Compiled Region: 0/0 | 1 | 98.4 μs | 375.5 μs | 100% |
Self NEURON total: 375.5 μs
コンパイルされたグラフは、ランタイムスケジューリングとハードウェア実行を経て1本の経路をたどります。テーブルはプロファイル2と同様に1回のデバイス実行を示していますが、コードがたどる経路は異なります。専用に作られた融合演算を呼び出すのではなく、コンパイラが元のPython関数から融合を発見します。この実行では、Neuron時間はtorch.rms_normと同程度であり、375 μs対403 μsとなっています。
横並びの比較
| Variant | NEURON time | Self CPU time | Operator calls |
|---|---|---|---|
| Naive ops | 2,355 µs | ~125 µs | 6 |
| torch.rms_norm | 403 µs | ~48 µs | 1 |
| Naive + torch.compile | 376 µs | ~98 µs | 1 |
torch.rms_normとtorch.compileは、いずれもRMSNormを1回のカーネルディスパッチに融合します。今回の実行では、どちらの手法もナイーブな実装のデバイス時間の約6分の1になっています。融合によってハードウェア実行間のギャップが取り除かれ、個別にディスパッチされた演算の間でx_sqやmean_sqのような中間値を実体化する必要がなくなります。
まとめ
key_averages()は、どの演算がデバイス時間を消費しているかを示し、その完全な出力はCPU側のセットアップや転送も明らかにします。Explorerはこれに対応する視覚的なトレースを提供します。1つの演算を、フレームワークのディスパッチからランタイムのスケジューリング、ハードウェア実行まで追跡し、融合によって取り除かれるギャップを確認できます。同じワークフローはより大規模なモデルにも適用でき、テーブル上でホットスポットを見つけ、トレースで検証し、融合された演算やtorch.compileがそのコストを削減できるかどうかを判断する、という手順になるとしています。
後編(Part 2)では、デバイスレベルのプロファイルに進むとしています。NEFFを開き、TensorEngine、VectorEngine、およびDMA(direct memory access)の内訳を調べ、カーネルをルーフラインモデル上に配置して、それが演算律速(compute-bound)かメモリ律速(memory-bound)かを判断する内容になるとしています。
このシリーズを始めるきっかけを与えてくれたAritra Roy Gosthipaty氏、およびレビューを行った同僚のPinak Panigrahi氏、Samir Araujo氏、Akhil Azhikodan氏、Esha Lakhotia氏ほかへの謝辞が記されています。