記事のサマリー(TL;DR)
- Hugging Faceは、Swift向けの新パッケージ「AnySpeechRecognizer」と「AnyDecisionModel」を発表しました。両パッケージはAnyLanguageModelおよびswift-huggingfaceの1.xリリースを踏まえ、音声認識と意思決定にも同様のアプローチ(共通APIに対してモデルを選択できる仕組み)を拡張するものです。
- AnySpeechRecognizerは、AppleのSpeechAnalyzer APIをそのまま使いながら、認識エンジンとしてNVIDIAのParakeetやAlibabaのQwen3-ASR(いずれもCore MLでローカル実行)を選択でき、話者分離(スピーカーダイアライゼーション)機能も追加します。
- AnyDecisionModelは、Yes/No・多肢選択・評価スケールの質問に対し、テキスト生成ではなくモデルの確率分布から型付きの結果と確率を導出します。対応するバックエンドはMLX、Core AI、llama.cpp上のオンデバイスモデル、またはJevやOllamaの意思決定モデルです。両パッケージとも、Hugging Face Hubからオープンモデルをダウンロードしてデバイス上で実行できます。
詳細
背景
言語モデルは文章の生成、要約、翻訳、ツール呼び出しなど多くのことができますが、機械学習全体から見ればごく一部の機能に過ぎません。例えば、サポート窓口に顧客から電話がかかってきた場合、まず「何を話したか」を把握する必要があり(音声認識)、次に「どこに取り次ぐか」を決める必要があります(意思決定)。これらは両方とも言語モデルに任せることもできますが、それぞれの用途に特化したモデルの方が、より優れていて、速く、コストも低いとされています。
以前公開されたAnyLanguageModel 1.0の振り返り記事では、Swiftにおけるローカルおよびホスト型モデルの1年間を振り返りました。AnyLanguageModelとswift-huggingfaceが1.xリリースに達した現在、同じアプローチを音声と意思決定にも拡張するとしています。すなわち、使い慣れたSwift APIに対してモデルを選択できる形です。
AnySpeechRecognizer
コンピュータによる音声の書き起こしは数十年前から行われており、ここ数年で精度が大きく向上しました。Apple環境にはすでにそのためのAPIがあります。macOS 26およびiOS 26では、Appleの新しい音声テキスト変換API「SpeechAnalyzer」が導入されました。開発者はSpeechTranscriberやSpeechDetectorといったモジュールをアナライザーに追加し、ファイルまたは音声バッファのストリームを渡し、非同期シーケンスから結果を順次読み取ります。AssetInventoryがモデルのインストールを担うため、アプリ側でダウンロードのタイミングを制御できます。これはよく設計されたAPIですが、その背後にあるエンジンはAppleのものだけでした。
AnySpeechRecognizerは、このAPIの形はそのままに、エンジンを選択できるようにするものです。インポート文をimport Speechからimport AnySpeechRecognizerに変更するだけで利用できます。このパッケージはSpeechAnalyzer、SpeechTranscriber、DictationTranscriber、SpeechDetector、AssetInventoryをミラーしており、デフォルトのエンジンはAppleのSpeechフレームワークです。共有APIを使っているコードであれば、インポート文の変更だけで済みます。
Parakeetを使う場合は、トランスクライバーの生成方法だけを変更します。例えば以下のようにモデルをParakeetSpeechModel(variant: .v3)として指定します。アセットのインストール、アナライザーの実行、結果の読み取りの手順は変わりません。READMEには完全なサンプルと、Appleのフレームワークとの相違点一覧が記載されています。
利用可能なモデル
- Parakeet v3:NVIDIAのParakeet TDT 0.6B v3。25のヨーロッパ言語を認識でき、話されている言語を自動判別するため、ロケールを指定する必要がありません。
- Parakeet Ultra:Moondreamがv3をもとに追加学習したモデル。測定したほとんどのケースで精度が高かったとされています。
- Parakeet Unified:NVIDIAの英語専用Parakeet。
これら3種のParakeetは、いずれもパッケージ独自のCore MLランタイム上で動作し、ファイル入力・ライブ入力、途中結果(volatile results)、単語ごとのタイミング、単語ごとの信頼度をサポートします。
Qwen3-ASRはAlibabaの音声モデルで、0.6Bと1.7Bの2サイズがあります。30言語と、北京語・広東語・日本語・韓国語を含む22の中国語方言(Parakeetではカバーされていないもの)を認識します。言語は自動検出されるほか、Locale.Language(identifier: "yue")のように明示的に指定することもできます。Qwen3-ASRは最大40秒のセグメントごとに1つの最終結果を返す方式で、途中結果・単語タイミング・信頼度はありません。GPU上で動作し、Parakeetより速度は遅いため、ライブ入力よりファイルの書き起こしに向いているとされています。
別のエンジンを追加するには、設定用のSpeechRecognitionModelと、1つのモジュールのセッション用のSpeechRecognitionExecutorを実装します。READMEには、開始の手引きとなるプレースホルダーテキストを返す簡易プロバイダーの例が含まれています。
Hub上のCore MLモデル
これらのモデルをアプリ内で実行するため、Core ML形式に変換してHugging Face Hub上で公開しています。
| モデル | Core ML変換版 | 元のチェックポイント | ライセンス |
|---|---|---|---|
| Parakeet TDT 0.6B v3 | mattt/parakeet-tdt-0.6b-v3-coreml | nvidia/parakeet-tdt-0.6b-v3 | CC BY 4.0 |
| Parakeet Ultra | mattt/parakeet-ultra-coreml | moondream/parakeet-ultra | CC BY 4.0 |
| Parakeet Unified EN 0.6B | mattt/parakeet-unified-en-0.6b-coreml | nvidia/parakeet-unified-en-0.6b | NVIDIA Open Model License |
| Qwen3-ASR 0.6B | mattt/qwen3-asr-0.6b-coreml | Qwen/Qwen3-ASR-0.6B-hf | Apache 2.0 |
| Qwen3-ASR 1.7B | mattt/qwen3-asr-1.7b-coreml | Qwen/Qwen3-ASR-1.7B-hf | Apache 2.0 |
| Streaming Sortformer 4spk v2 | mattt/diar-streaming-sortformer-4spk-v2-coreml | nvidia/diar_streaming_sortformer_4spk-v2 | CC BY 4.0 |
| Streaming Sortformer 4spk v2.1 | mattt/diar-streaming-sortformer-4spk-v2.1-coreml | nvidia/diar_streaming_sortformer_4spk-v2.1 | NVIDIA Open Model License |
各リポジトリには、変換元のチェックポイントとファイルごとのチェックサムが記録されており、パッケージは固定リビジョンに対して参照するよう設定されています。Parakeetのリポジトリには、ライブ入力向けに8秒のエンコーダーが追加されており、これによりライブ解析時間を約3分の1短縮できますが、単語誤り率はやや高くなります。リポジトリには変換ワークフローも含まれており、その大半はFluidInferenceのmobiusスクリプトに準拠し、各変換結果を元モデルと照合して検証しています。
ダウンロードはアプリが要求した場合にのみ発生し、容量はParakeet各モデルで約600MB、ライブ用エンコーダーで約590MB、Qwen3-ASRで0.9〜2.4GB、Sortformerで約250MBです。ファイルは標準のHugging Faceキャッシュに保存されるため、サンドボックス外で動作するMacアプリであれば、PythonなどのHugging Faceツールとファイルを共有できます。
話者分離(スピーカーダイアライゼーション)
会話を書き起こす際には、誰が何を話したかを知りたい場合が多くあります。これが話者分離であり、Appleの Speechフレームワークにはこれに対応するモジュールがないため、AnySpeechRecognizerが新たに追加しました。SpeakerDiarizerは、NVIDIAのStreaming SortformerをCore ML上で実行し、AppleまたはParakeetのトランスクライバーと同じタイムライン上で並行して動作させます。
ダイアライザーは最大4名の話者を追跡でき、発話が重なった場合にも対応します。SpeakerTimelineが結果を収集し、タイミング情報付きの各単語を話者に割り当てるため、話者ごとの発話として書き起こしを表示できます。AnyLanguageModelの画像サポートと同様に、これは現時点のAppleのAPIが提供していない機能だとしています。
ダイアライザーはデフォルトでSortformer v2を使用しますが、v2.1を選択することもできます。v2.1はNVIDIAがより多くの会議データで学習させたモデルで、測定結果では会議音声においてより高い精度を示したとされています。
性能評価
M4 Max搭載のMac Studio(macOS 27.0.1)上で、hearコマンドラインツールを用いて測定を行いました。LibriSpeechの3〜8分のファイルにおける単語誤り率(WER)は以下の通りです。
| トランスクライバー | test-clean | test-other |
|---|---|---|
| Parakeet v3(ファイル) | 1.55% | 2.78% |
| Parakeet v3(ライブ) | 4.73% | 4.29% |
| Parakeet Ultra(ファイル) | 1.66% | 2.55% |
| Parakeet Ultra(ライブ) | 2.65% | 3.28% |
| Parakeet Unified(ファイル) | 1.43% | 2.19% |
| Parakeet Unified(ライブ) | 1.45% | 2.42% |
| Appleのトランスクライバー(ファイル) | 2.12% | 3.97% |
Parakeetは、ファイルからの処理では1時間分の音声を約20〜40秒で、ライブでは約1.5〜2.5分で書き起こし、Core MLがモデルをコンパイルした後のメモリ使用量は約100MBとされています。Qwen3-ASRはこれよりかなり遅く、数GBのメモリを必要とします。
会議音声はどのエンジンにとっても難しく、発話が重なるAMI録音データでは、テストしたすべてのエンジンで単語誤り率が23%を超えました。これらの数値は1台のマシンと少数のデータセットによるものであるため、自身のハードウェアと音声データで測定することが推奨されています。hear evaluateは手持ちのファイルに対して利用でき、リポジトリのnatural-speech-eval.pyツールでこれらの測定結果を再現できます。
現時点ではmacOS 27でのみテストされており、iPhoneでは未検証です。今後は、macOS 27およびiOS 27向けのCore AIを含む、より多くのエンジンの追加が予定されているとしています。
AnyDecisionModel
AnyDecisionModelはAnySpeechRecognizerとは性質が異なります。対応するAppleのフレームワークは存在せず、意思決定モデル自体も厳密には新しい概念ではありません(原文では、フランスのデシジョン地方産でなければ「意思決定モデル」と呼べない、そうでなければスパークリングなゼロショット分類だ、という比喩が用いられています)。新しいのは名称と注目度の高まり、そして意思決定のために学習された一連のモデルだとしています。この分野が今後進展していく方向だと考え、それに対応したSwift APIを用意したとしています。
アプリは言語モデルに意思決定を求めることがよくあります。「このメッセージは緊急か」「どのチームが対応すべきか」「この顧客はどれくらい苛立っているか」といった具合です。通常の方法は、言語モデルにプロンプトを与え、生成されたテキストを解析するというものですが、これでは1つの答えしか得られず、他の選択肢に割り当てられた確率はわかりません。
Swiftでの意思決定の例としては、Departmentという列挙型(billing、technical、sales)をChoosableに準拠させ、MLXDecisionModel(modelID: "mlx-community/Qwen3-4B-Instruct-2507-4bit")でモデルを作成し、DecisionSessionにチケット文面を状態として渡します。その上で、session.probability(of:)で緊急性の有無を確率(Double型)として、session.choice(_:from:)で担当チームをChoice<Department>型(選択されたケース、各選択肢の確率、信頼度を含む)として、session.score(_:levels:)で苛立ちの度合いをScore型(予測されるレベル、各レベルの確率、信頼度を含む)として取得できます。DepartmentがChoosableに準拠しているため、team.valueはDepartment型として網羅的なswitch文で扱えます。
Foundation ModelsやAnyLanguageModelを使ったことがあれば、モデルとセッションのパターンは見覚えがあるはずです。DecisionSessionは1つの状態(テキストまたはJSON)を保持し、すべての質問はその状態に対して行われます。質問は互いに独立しており、ある質問の答えが後続の質問の入力になることはありません。複数の質問をまとめて行う場合はdecide(_:)にバッチとして渡します。各質問について、MLXバックエンドは許可された各回答に1トークンのラベルを割り当てたプロンプトを構築し、1回のフォワードパスで各ラベルの確率を読み取ります。
試作例:Emoji Magnet
Emoji Magnetは、テキストフィールドの下に343個の絵文字が並んだmacOSアプリです。「things you wear(身につけるもの)」のようなフレーズを入力すると、該当する絵文字が浮かび上がり、「things you wear in winter(冬に身につけるもの)」のように絞り込むと、合致しなくなった絵文字は元に戻ります。このアプリには組み込みのキーワードルールはなく、すべて推論時にモデルが判定します。入力を止めると、各絵文字について「ある発言(この場合は特定の絵文字の説明)がフレーズの説明に合致するか」という形でYes/No質問をモデルに投げます。
セッションの状態にはフレーズが保持されます。上記デモではホスト型のJevバックエンドを使用しており、343個の質問を1リクエストでまとめて回答するため、1フレーズあたり約0.5秒で絵文字が収束します。TYPESAFE_AI_API_KEYが設定されていない場合は、MLXバックエンドでQwen3 4BをMac上で実行します。このバックエンドはプレフィックスキャッシュを利用して状態を一度だけ評価し、1回のフォワードパスで16個の質問に回答します。M4 Max上では、16個のグループの処理に、モデル読み込み後で約0.45秒かかります。343個すべての絵文字を一巡処理するのに約10秒かかり、各グループの結果は届き次第表示されます。Emoji Magnetは「AnyDecisionModel-Examples」リポジトリに含まれています。
決定ヘッド(Decision Heads)とClef
次トークン確率を読み取る方式は汎用の言語モデルでも機能しますが、これらのモデルは本来、意思決定を行うために訓練されたものではありません。CloudflareのClefモデルは、より新しいアプローチの一例であり、状態と型付き質問のスキーマを、学習済みの決定ヘッドによって意思決定に変換し、1回のフォワードパスで質問全体にわたる全選択肢の確率を返します。Clef-Flashは90億パラメータ(9B)版です。AnyDecisionModelは、MLXを用いてMac上でClef-Flashを実行できます。
同じセッションと質問の仕組みを使いますが、MLXHeadDecisionModelは次トークン確率ではなく、Clefの学習済み決定ヘッドから直接答えを読み取ります。4bit量子化モデルのダウンロードサイズは6.2GBで、モデルカードでは少なくとも16GBのメモリを搭載したMacが推奨されています。Clef自体は画像や動画も読み取れますが、このバックエンドはテキストおよびJSON形式の状態のみに対応しています。
確率の較正と検証
言語モデルが出す生の確率は、しばしば過信気味(overconfident)になります。ローカルバックエンドはCalibrationを受け付け、すべての回答に温度(temperature)を、Yes/No回答にバイアスを適用します。較正用データセットと評価用データセットは別々に用意することが推奨されています。
また、言語モデルは選択肢リスト内での位置によって特定の選択肢を優遇することがあります。MLX、Core AI、llama.cppの次トークンバックエンドでは、rotationDebiasingを有効にすることで、選択肢の順序を入れ替えながら同じ選択質問を複数回行い、確率を平均化できます。この場合、順序の入れ替えごとに1回分のプロンプト評価コストがかかります。
ローカルでの各選択・スコアには、確率のエントロピーに基づく信頼度の値も含まれます。これは確率がどれだけ集中しているかを示すものであり、答えが正しいかどうかを示すものではないため、閾値を決める前に自分のデータでの誤り率を確認することが推奨されています。次トークンバックエンドの診断情報では、モデルが許可された回答にどれだけの確率を割り当てたかが報告されます。値が低い場合、確率の大部分が他の場所に割り当てられていることを意味します。
バックエンド
AnyDecisionModelには6種類のバックエンドがあります。
- MLX:mlx-swift-lmを用いて小規模な言語モデルをApple silicon上で実行し、Hubからダウンロードします。
- MLX decision heads:Clefのような、独自の学習済み決定ヘッドを持つモデルを実行します。
- Core AI:macOS 27およびiOS 27上で、Core AIモデルを用いてMLXと同様の処理を行います。
- llama.cpp:llama.swiftを通じて、ローカルのGGUFモデルから意思決定を読み取ります。
- Jev:System One APIを通じてTypeSafeのJev、またはそのAPIを実装する任意のサーバー(例:Kev)を呼び出します。
- Ollama:ローカルのOllamaサーバーまたはOllamaのクラウド上のSystem One決定モデルを呼び出します。Ollama 0.35.0以降、クラウドモデルの場合は0.40.5以降が必要です。
次トークン方式のバックエンドでは、回答を「yes」「no」、「A〜Z」、または「0〜9」としてラベル付けするため、選択肢は最大26個、スコアのレベルは最大10段階までとなります。決定ヘッド方式にはこのような上限はありません。
AnyLanguageModelと同様、このパッケージはSwift package traitsを利用しています。traitsを指定しない場合、サードパーティへの依存はなく、コアの型とJev・Ollamaバックエンドのみが利用可能で、これらはLinux上でもビルドできます。ローカルバックエンドを使うには、MLX、CoreAI、またはLlamaのtraitを有効にする必要があります。
利用開始にあたって
両パッケージとも、Swift 6.2以降、およびmacOS 26またはiOS 26以降が必要です。ParakeetおよびSortformerのランタイム、MLXバックエンドにはApple siliconが必要です。AnyDecisionModelのMLXビルドタスクには、Xcodeの Swift 6.4以降とMetalツールチェーンが必要で、Core AIにはXcode 27とOS 27ランタイムが必要です。
パッケージはPackage.swiftの依存関係に、AnySpeechRecognizer(0.1.0以降)とAnyDecisionModel(0.6.0以降、traitsとして”MLX”を指定)を追加することで導入できます。
現時点では、AnyDecisionModelのCoreAI traitはAnySpeechRecognizerと組み合わせることができません。これは、coreai-kit 0.7.3がswift-huggingfaceの1.0未満のバージョンを要求する一方、AnySpeechRecognizerは1.x系を要求するためです。各READMEには、要件やバックエンドに関するより詳しい例と説明が記載されています。
AnySpeechRecognizerには、ローカルファイルの書き起こし、話者のラベル付け、結果の評価を行うコマンドラインツールhearも含まれています。hearコマンドの実行には--backend apple、--backend parakeet、--backend qwenのいずれかの指定が必須であり、解析の前に、同じバックエンドとモデルのオプションを指定してhear prepareを実行し、必要なアセットをインストールする必要があります。
両リポジトリでは、issueやプルリクエストが歓迎されています。
リンク
- AnySpeechRecognizer(GitHub)
- AnyDecisionModel(GitHub)
- AnyDecisionModel-Examples(GitHub)
- AnyLanguageModel(GitHub)
- swift-huggingface(GitHub)
謝辞として、ParakeetおよびSortformer、NeMoについてNVIDIAに、Parakeet UltraについてMoondreamに、ParakeetランタイムとCore ML変換が準拠する規則を文書化したFluidAudioおよびmobiusプロジェクトについてFluidInferenceに、ClefについてCloudflareに、そして両パッケージがそのパターンを借用しているAnyLanguageModelに貢献したすべての人々に謝意が述べられています。