解決できる課題 事業紹介トップ 経営データ分析基盤 AI導入・業務改善 AI 業務アプリ 基幹システムのWeb化・段階移行 複雑な SaaS を専用 UI に Shopify Plus 移行・拡張 生成AI 活用(Multi AI) SEO / AIO / 広告運用 顧問・アドバイザリ インフラ構築 PHP脆弱性対策・更新 WordPressからEmDashへの移行 自社メディア投資・開発
AI導入 AI導入・業務改善 ChatGPTの社内導入 OpenAI Codex導入 AI運用・定着 Claude / MCP 総合 Claude Cowork Claude Code 導入支援 Claude Code 使いこなし支援 Claude Design MCP 開発・サーバー構築
EC構築・移行 Shopify Plus トップ EC-CUBEからShopifyへの移行 大手カートからの移行 Shopify 通常プラン EC サイト構築
実績
業界ニュース 業界ニュース トップ AI ニュース └ Claude └ ChatGPT・Codex └ Gemini └ その他 Shopify ニュース SaaS ニュース お知らせ(自社発信)
会社情報 相談する
2026.10.22

PyTorch 2.15のMPSバックエンド新機能:FP8対応とLLMデコード高速化

記事のサマリー(TL;DR)

  • PyTorch 2.15でMPSバックエンドにFP8(torch.float8_e4m3fn)が追加され、BF16の半分の容量でテンソルを保存し、F.scaled_mmによるスケール付き行列乗算などCUDA/CPUでサポートされる演算が利用可能になりました。
  • Mixture-of-Experts(MoE)モデルのデコード速度が2.14比で5〜6.5倍向上し、M3 UltraでQwen3.6-35B-A3Bは9.4トークン/秒から61.3トークン/秒になったと報告されています。また単一行の線形層向け専用カーネルや約8倍高速化されたsoftmaxにより、すべてのLLMでトークンあたりの処理時間が短縮されました。
  • 定数パディングのMetalカーネル化により、Wan2.2のビデオVAEデコードのピークメモリ使用量が約270GiBから8GiBに減少したほか、複素数LU分解・三角ソルブ・QR分解などの線形代数演算がMPS上で高速化されました。

本リリースの対象条件

MPSバックエンドを利用するには、Apple silicon Mac、macOS 15以降、Python 3.11以降が必要です。OSが古い場合やMetal GPUが利用できない場合、MPSの可用性チェックがその理由を表示するようになりました。リリース候補版は次のコマンドで別環境に試験導入できます。

uv pip install torch==2.15.0 --index-url https://download.pytorch.org/whl/test/cpu

詳細

執筆者について

本記事は、Hugging FaceのPyTorchチームによるものです。PyTorch全般に貢献しており、注力領域の一つがMPSバックエンドで、Macを PyTorch モデルの実行・学習において一級の環境にすることを目標としているとしています。2026年初頭時点では、MPS上で小規模なモデルを動かす場合でも、未サポートの演算やパフォーマンスの落ち込み、予期しないメモリ増加への対処が必要になることが多かったとしています。そこでHugging Face Hub上の実モデルを言語・画像・動画の各分野で実行し、MPSが不足している点を見つけてPyTorch本体に修正を取り込み、MPSGraphを専用のMetalカーネルに置き換える作業を重ねてきたと述べています。本記事の内容の多くは、PyTorchのメンテナーおよびコミュニティ貢献者と共同で行ったこの取り組みの成果です。

実際の利用シーンでの変化

transformers、diffusers、ComfyUIなどのツールを使ってMacでモデルを実行している場合、2.15での変更点は次のとおりです。

  • ローカルLLMの大幅な高速化:Mixture-of-expertsモデルは2.14比で5〜6.5倍速くデコードします。M3 Ultra上でtorch.compileを使用した場合、Qwen3.6-35B-A3Bは9.4トークン/秒から61.3トークン/秒に、LFM2.5-8B-A1Bは23.6トークン/秒から123.6トークン/秒になります。密なモデルも、線形層の高速化とサンプリング用softmaxの8倍高速化の恩恵を受けます。
  • メモリに収まる動画生成:Wan2.2のタイル状VAEによる動画デコードは、以前はドライバメモリ使用量を270GiBまで押し上げていましたが、現在は約8GiBがピークです。
  • Qwen-Image-2.1での正しい画像編集:2.14ではQwen-Image-2.1のVAEエンコーダがMPS上で画像を黙って破損させ、画像編集ワークフローを壊していました(ComfyUIで報告)。同じパディングの変更によりこれが修正され、エンコード・デコードのラウンドトリップはCPUと一致し、PSNRは10.06dBから29.95dBに向上しました。
  • MacでのFP8重み利用:FP8テンソルはBF16の半分のメモリしか使用せず、F.scaled_mmによりGPU上で直接乗算できます。

FP8のMPS対応

FP8はMac上でメモリを節約するもう一つの手段です。PyTorch 2.15はMPS上でtorch.float8_e4m3fnテンソルを追加し、1値あたり1バイト、FP16やBF16の半分のストレージで済みます。これらのテンソルはF.scaled_mmで乗算でき、tensorwiseとrowwiseの両方のスケーリングに対応しています。テンソルごとに1つのスケールを使う例は次のとおりです。

import torch
import torch.nn.functional as F

def quantize_fp8(x):
    limit = torch.finfo(torch.float8_e4m3fn).max
    scale = x.abs().amax().clamp_min(1e-12) / limit
    return (x / scale).to(torch.float8_e4m3fn), scale

x = torch.randn(1, 1024, device="mps", dtype=torch.float32)
weight = torch.randn(1024, 1024, device="mps", dtype=torch.float32)

x_fp8, x_scale = quantize_fp8(x)
w_fp8, w_scale = quantize_fp8(weight)

y = F.scaled_mm(
    x_fp8, w_fp8.t(),
    scale_a=x_scale, scale_recipe_a=F.ScalingType.TensorWise,
    scale_b=w_scale, scale_recipe_b=F.ScalingType.TensorWise,
    output_dtype=torch.bfloat16,
)
print(y.shape, y.dtype)

言語モデルのデコード高速化

すべてのLLMにはプリフィル段階とデコード段階があります。デコード中は新しいトークンが1行として単独でモデルを通過するため、大きな行列乗算は行列とベクトルの積になります。PyTorch 2.15はこの段階を支配する密な線形層とMixture-of-experts層の両方を高速化しています。

線形層:MPSはtorch.mm向けのGEMVカーネルを2.14から持っていましたが、F.linearは依然としてMPSGraphを経由していました。PyTorch 2.15ではこれらをF.linearに接続し、デコード時によく使われる[1, 1, hidden_size]形式の入力が直接これらのカーネルを使用し、該当するバイアス加算も融合されます。実モデルから得た96のBF16レイヤー形状全体で、幾何平均1.23倍の高速化が得られています。最も大きな効果はMoEモデルのゲートのような小規模な射影にあり、従来の経路ではメモリ帯域幅の大半が未使用でした。大規模な層やLMヘッドはすでに帯域幅に律速されていたため、速度向上はほぼ1倍にとどまります。

Mixture-of-experts層:MoE層は各エキスパートに異なる数のトークンを送ります。グループ化行列乗算(grouped matmul)はこれらの不均一なグループを1回の演算で処理し、2.15ではMPSにネイティブ実装が加わりました。2.14では、グループ化行列乗算はグループのオフセットをCPUにコピーし、グループをループ処理していました。新しいMetalカーネルはオフセットをGPU上で直接読み取り、利用可能な場合はMetal Performance Primitivesを、それ以外では別のMetal経路を使用します。デコード中によく見られる小規模なグループについても専用のカーネルが用意されています。例えば64トークンを16、32、16のグループに分割する例は次のとおりです。

import torch
import torch.nn.functional as F

tokens = torch.randn(64, 64, device="mps", dtype=torch.bfloat16)
weights = torch.randn(3, 128, 64, device="mps", dtype=torch.bfloat16)
ends = torch.tensor([16, 48, 64], device="mps", dtype=torch.int32)

out = F.grouped_mm(tokens, weights.transpose(-2, -1), offs=ends)
print(out.shape)  # torch.Size([64, 128])

このデコード用カーネルはトークンのスループットに直接反映されます。M3 Ultra上でtorch.compileを使用した場合、MoEモデルは約1.3倍多くのトークンを毎秒生成します。

線形代数の強化

複素数演算:複素数テンソルの扱いが容易になりました。complex64のLU分解、LUソルブ、三角ソルブがMPS上で動作するようになり、これにより複素行列式などこれらを基盤とする演算や勾配計算も可能になります。GPU上で直接解く小規模な系の例は次のとおりです。

import torch

a = torch.randn(8, 8, device="mps", dtype=torch.complex64)
a = a + 8 * torch.eye(8, device="mps", dtype=torch.complex64)
b = torch.randn(8, 2, device="mps", dtype=torch.complex64)

lu, pivots = torch.linalg.lu_factor(a)
x = torch.linalg.lu_solve(lu, pivots, b)
print((a @ x - b).abs().max().item())

小規模行列とより大きなソルブ:小規模な行列にも高速カーネルが用意されています。カメラジオメトリや画像変換向けに、最大4×4のFP32行列のバッチが、分解とソルブを組み合わせた単一のMetalカーネルで逆行列計算されます。より大きな問題にも対応しており、QR分解はブロック化された更新を使用し、三角ソルブは処理の多くを効率的な行列乗算に変換します。Gated DeltaNetのワークロード向けには、16×16、32×32、64×64のFP32三角系(右辺が8つ以上)のバッチに対する専用の高速経路が用意されています。SVDも数値的な極端条件においてより堅牢になりました。非常に小さい特異値、非常に大きい、または非常に小さい入力の大きさ、full_matrices=Trueでの基底完成を正しく処理するようになり、これにより擬似逆行列と最小二乗法の結果の信頼性が向上しています。

畳み込み、パディング、学習

オーディオモデル、ビデオデコーダ、学習ループにはそれぞれ負荷の高い演算があります。今回のリリースでは、これらの一部にMetal経由の新しい処理経路が追加されました。

演算 2.15での変更点
conv1d forward MPSGraphに代わる専用カーネルに加え、短い出力向けのim2col+matmul経路を追加。オーディオやストリーミングモデルの形状に有用。
定数パディング Metalカーネルへ移行し、タイル状ビデオVAEデコードにおけるドライバメモリの暴走的な増加を修正(詳細は後述)。
反射・複製パディング より高速な新しいMetal実装を追加し、backwardの正しさの問題も修正。
アウトオブプレースのdropout nn.DropoutとF.dropoutが既存の融合カーネルを使用するように変更。
アップサンプリングのbackward Metalのgatherカーネルが、MPSGraphのリサイズ勾配経路に代わって使用される。
channels-last形式のconv2d backward NCHW形式のグラフによるコストの高いストライドアクセスではなく、効率的なchannels-last経路を維持。

Softmaxと縮約演算

トークンサンプリングも2.15で高速化されています。softmaxとlog_softmaxは専用のMetalカーネル上で動作するようになり、大きな語彙サイズで最も恩恵が大きくなります。[1, 128256]形状のロジット行に対するFP32のsoftmaxは57µsから7µsに短縮され、MPSGraph版と比べて約8倍高速になりました。この高速化は他の一般的な語彙サイズでも確認されています。

ビデオデコードのメモリ使用量の大幅な削減

本リリースの中でも特に顕著な成果の一つが、定数パディングの変更によるものです。Wan-AI/Wan2.2-TI2V-5B-DiffusersのVAEデコードは、28タイルのフルデコードで8,764回のパディング呼び出しを行います。パディングをMetal上で実行することで、ピークのドライバメモリ使用量は約270GiBから8GiBに減少しました。

メモリ指標 MPSGraphパディング Metalパディング
現在のテンソル割り当てピーク 4.422 GiB 4.095 GiB
アロケータ予約ピーク 8.070 GiB 8.070 GiB
総ドライバメモリピーク 270.135 GiB 8.108 GiB

MPSストリームによる制御の強化

Pythonから直接、処理を実行するMPSストリームを選択できるようになりました。torch.mps.Streamおよびtorch.mps.streamコンテキストマネージャーがそのインターフェースを提供し、Tensor.record_streamによりアロケータが別ストリームでのテンソルの使用を追跡できます。別ストリームに処理を送り、結果を読み取る前に同期する例は次のとおりです。

import torch

x = torch.randn(1024, device="mps")
torch.mps.synchronize()

worker = torch.mps.Stream()
with torch.mps.stream(worker):
    y = x.square()
    x.record_stream(worker)

del x
worker.synchronize()
print(y.cpu().shape)

MPSで動作する演算の追加

torch.frexp、torch.logspace、torch.takeおよびTensor.put_、torch.heaviside、torch.special.laguerre_polynomial_l、符号なし整数の比較など、複数の演算がMPS上で動作するようになりました。なお、logspaceは要素数が2以上の整数型またはブール型の出力にはまだ対応していません。Attentionについても正しさの修正が行われ、scaled dot-product attentionのMPS数学実装がバッチおよびヘッドのブロードキャストを正しく処理するようになりました。

PyTorch 2.16の展望

2.16に向けた作業はすでに進行中です。以下の変更の一部はmainブランチに取り込まれナイトリービルドで利用可能になっていますが、一部はまだレビュー中のため、リリースまでに詳細が変わる可能性があるとしています。

LLMデコードのさらなる高速化:デコード経路にMPSGraphの演算が一切含まれなくなると、GPUはCPUがすべてのカーネルのエンコードを終えてから初めてトークンの処理を開始します。PyTorch 2.16では16カーネルごとにコマンドバッファをコミットするようにし、CPUが残りをエンコードしている間にGPUが処理を開始できるようにしています。2048トークンのコンテキストでのコンパイル済みBF16デコードの結果は次のとおりです。

モデル 変更前 変更後 変化
LFM2.5-8B-A1B 108.8トークン/秒 126.0トークン/秒 +16%
Qwen3.6-35B-A3B 52.9トークン/秒 62.8トークン/秒 +19%
Qwen3.8-27B 12.1トークン/秒 12.6トークン/秒 +4%

Attentionが完全にMetal上で動作:Scaled dot-product attentionはMPSGraphを完全に廃止する方向にあり、すべての形状がMetalカーネル上で動作するようになります。デコード用の専用ベクトルカーネルと、新しいmacOSバージョンでの半精度プリフィル向けMetal Performance Primitivesが用意されます。従来MPSGraphにフォールバックしていた形状が最も恩恵を受けます。M5 Proでは、グループドクエリアテンション(クエリヘッド32、KVヘッド8、ヘッド次元80、コンテキスト4K)によるデコードが465µsから65µsに、ヘッド次元40の4K×4Kプリフィルが42msから6msになります。

MPSGraphからMetalへの移行の継続:MPSGraphからの脱却は続いています。Batch normのforwardとbackwardは作業中で、MSE損失(小規模入力で最大12倍高速)、std_meanとvar_mean(最大4倍高速)、bincountはすでに移行済みです。bincountの効果は特に顕著で、値の大半が単一のビンに集中する場合、400万個の整数をカウントする処理が従来6.8秒かかっていたのが、現在は0.5ミリ秒になっています。

インストールサイズの縮小:バンドルされるシェーダーはデフォルトでMetal 3.1向けにビルドされ、Metal 4バージョンは必要なカーネルのみにコンパイルされるようになります。これによりlibtorch_cpu.dylibのサイズは約25%縮小し、384MiBから287MiBになります。また、より高速な行列乗算とネイティブFP8行列乗算を備えたMetal 4.1シェーダーに向けた基盤も整えられるとしています。

まとめ

PyTorch 2.15は、MacへのFP8対応、密なモデルおよびMoEモデルの両方でのLLMデコード高速化、GPU上での線形代数演算の拡充、そしてMPSGraphから専用Metalカーネルへの多数の移行をもたらします。提供元はリリース候補版を試すよう呼びかけています。

今後の取り組み:2.16ではattentionを完全にMetal上で動作させ、MPSGraphからの演算移行を継続するとしています。また、torch.compileにおけるグラフブレークの解消にも取り組んでおり、より多くのモデルがエンドツーエンドでコンパイルできるようにすることを目指しているとしています。MPS上またはその他の箇所で動作が遅い、未対応、または不具合がある場合はGitHubでissueを立てるよう呼びかけています。Nikita Shulga氏、Kurt Mohler氏、Aaron Gokaslan氏による本作業の多くのレビュー、および本リリースのMPSに貢献したすべての人々への謝辞が述べられています。