記事のサマリー(TL;DR)
- Hugging Faceは、サーバーや通信を必要とせず端末上で動作する小型テキスト読み上げ(TTS)モデル「Phonon」を2週間前に公開し、公開から2週間で20万回以上ダウンロードされたと説明しています。
- Phononは約65MBと75MBの2サイズで提供され、英語・フランス語・ドイツ語・スペイン語・ポルトガル語に対応、100種類以上の内蔵音声と音声クローン・音声デザインによるカスタム音声作成に対応しています。
- Hugging FaceのOpen TTSリーダーボードにおいて、Phononは明瞭性(word error rate)でドイツ語とスペイン語で1位、評価した全言語で上位3位以内、CPUストリーミングの最初の音声出力までの速度(time-to-first audio)ではトップの結果だったと報告されています。
ライセンスと利用条件
Phononの重みは公開されており、モデルによってライセンスが異なります。
- Phonon 31m(英語のみ対応):Apache 2.0ライセンス。商用製品を含め無償で利用可能です。
- その他のモデル(Phonon 40mなど、5言語対応):CC BY-NCライセンス。非商用プロジェクトでは無償利用が可能です。これらのモデルを商用で利用する場合、料金体系は生成する音声量ではなく、利用ユーザー数に基づくとされています。
詳細
音声が端末上で動作する理由
多くの音声AIはクラウド上で動作し、文章ごとにサーバーとの通信が発生します。これに対しPhononは端末上で動作し、入力したテキストは端末内にとどまり、ネットワークなしで音声合成が機能します。
小型デバイス上で高品質な音声合成を実現することは従来困難でした。モデルを小さくすると音質が犠牲になり、音質を高めるとモデルサイズが大きくなるというトレードオフがありました。Hugging Faceはこの両方の課題に対応したとしています。
Phononは2025年4月に発表され、その後6か月間、パートナーや初期ユーザーとともに開発が進められました。寄せられたフィードバックをもとに、モデルの軽量化、対応言語の追加、音声クローンおよび音声デザインによるカスタム音声対応が行われたと説明されています。
Phononは「Pocket TTS」系統をベースにしており、他の多くのTTSシステムとは異なるモデリング手法であるフロー・マッチング(flow matching)を用いて音声を生成します。この手法により小型モデルでも高品質な音声合成が可能になった一方、学習時には新たな課題も生じました。学習初期は数値的に不安定であり、5言語すべてで品質の高い結果を得るためにいくつかの工夫が必要だったとされています。
公開内容
Phononは約65MBと75MBの2サイズで提供され、合わせて英語・フランス語・ドイツ語・スペイン語・ポルトガル語を扱えます。内蔵音声は100種類以上で、Gradium Studioを使えば独自の音声を作成できます。また、電話番号、日付、コードなど他の多くのTTSシステムが苦手とする読み上げにも対応しているとされています。スマートフォン、ノートパソコン、シングルボードコンピュータ、ブラウザタブ上で動作し、すぐに試聴可能です。
- Phonon 31m:英語に対応、Apache 2.0ライセンスで商用利用を含め自由に構築可能。
- Phonon 40m:5言語全てに対応、非商用ライセンス。
デモと初期プロジェクト
公開にあわせて、友人や自社チームによるデモが披露されました。Wi-Fiをオフにしたapple Watch上でコーヒーの淹れ方を段階的に音声案内するデモ、電波のないiPhone上で回数をカウントしながらトレーニングを続けるデモなどが紹介されています。Autonomous社のロボット「Lamp」はソーティングハットを被り、キャラクターになりきって話します。ブラウザ上のオフライン恐竜ランナーゲームは、「Rex」がホストを務めるラジオ番組のようになります。このほか、プレイヤー自身の端末上で音声が生成されるSF風ゲームや、プルーストの作品をページごとに読み上げるデモもあります。
Hugging FaceチームはTransformers統合を構築し、開発者は公開初日からTransformers上でPhononを利用できるようになりました。開発者コミュニティによる開発も進んでおり、ExecuTorchへの変換によりブラウザ上で訪問者のGPUを使ってPhononを動作させる例、Node.jsアプリにPhononを組み込む「Micdrop」、Phononを利用するSpaces(「smallest-s2s」など)が登場しています。
Phononは公開から2週間で20万回以上ダウンロードされ、Hugging Face上で引き続きトレンド入りしているとされています。
Hugging Face Open TTS Leaderboardでの結果
Open TTS Leaderboardは、Hugging Faceによる非常に新しいプロジェクトです。Hugging Face Hub上には9,000を超えるTTSモデルが存在し、このリーダーボードによって開発者はオープンなモデルを一か所で比較し、聴き比べることができるとされています。
評価は23言語にわたり、以下の観点で行われます。
- 明瞭性:出力のword error rate(単語誤り率)
- 速度:inverse real-time factor(逆リアルタイム係数)およびtime-to-first audio(最初の音声出力までの時間)
- 自然さ:英語はUTMOS、韓国語はKOMOSによる評価
固定音声と音声クローンの両方が評価対象で、音声クローンについては話者類似度の指標も追加されています。リーダーボードにはListenタブもあり、TTSの出力を実際に聴き比べ、好みのものに投票できます。
明瞭性については、Phononはドイツ語とスペイン語で1位、評価対象の全言語において、自身の最大100倍の規模のモデルと並んで上位3位以内に入ったとされています。特に速度の面でPhononの強みが顕著に表れており、CPUストリーミングのtime-to-first audioベンチマークで首位となったと説明されています。
推論フレームワーク
Phonon向けに新たな推論フレームワーク「ptts」が構築されました。pttsは幅広いデバイスで最良の性能を得ることを目的としており、10種類以上のバックエンドに対応しています。
- CPU:Intel、Arm、WebAssembly
- GPU:CUDA、Vulkan、Metal、WebGPU
- NPU:Apple Core ML、Snapdragon®
Phononは🤗Transformersのバージョンv5.21からも、リファレンス実装であるPyTorch実装として利用可能です。pttsが端末上で単一ストリームを実行するのに対し、TransformersはGPUスループットを対象としており、バッチ生成やフルグラフのtorch.compileなど、大規模な音声データセット合成といった用途に向けているとされています。ネイティブなPyTorch実装であるため、自社スタックへの組み込みやモデル自体の研究の土台として活用できるとされています。
PhononはPocket TTS系統に属するため、まずPocket TTSがTransformersに追加され、その上にPhononがモジュール型モデルとして実装されました。差分のみを記述する約200行のコードで構成されています。
Phononは音声の潜在表現(latent)を自己回帰的に生成します。各ステップで出力された潜在表現が次の入力として戻され、学習損失もこの潜在表現に対して計算されます。言語モデルにおけるテキストトークンと同様に、潜在表現がモデルの入力・出力・ターゲットとなり、音声を潜在表現に変換するコーデックがトークナイザーの役割を果たします。Transformersではこれを音声トークナイザーとして実装し、テキストトークナイザーと並んでプロセッサが保持する構成になっています。
コード例:
from transformers import AutoProcessor, GradiumPhononTTSForConditionalGeneration
model_id = "gradium/phonon-31m-en"
processor = AutoProcessor.from_pretrained(model_id, device_map="auto")
model = GradiumPhononTTSForConditionalGeneration.from_pretrained(model_id, device_map="auto")
print(f"{model.num_parameters():,}")
# 30,788,354
print(f"{processor.audio_tokenizer.num_parameters():,}")
# 10,305,313
音声は録音データそのものではなく、話者の潜在表現を表すテンソルとして扱われます。Phononは音声トークナイザーで直接音声をエンコードすることはなく、音声トークナイザーはデコーダーのみの構成で提供され、音声はあらかじめ計算されたものがgradium/phonon-voicesとして提供されています。
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
path = hf_hub_download("gradium/phonon-voices", "voices/LMDIYE0Oa377Qh6Z.safetensors")
voice = load_file(path)["speaker_wavs"][0].T # (num_frames, 512)
プロンプトのレイアウト(音声の位置、テキスト、音声を開始するトークンの順)は、他のTransformers内のマルチモーダルモデルと同様に、チャットテンプレートとしてチェックポイントに同梱されています。開発者は音声を挿入する箇所を空の音声項目とした標準的な会話形式を記述すればよく、チェックポイントが変わってもコードは変更不要とされています。プロセッサは音声のプレースホルダーをフレームごとの位置に展開し、テキストを正規化・トークン化した上で入力をバッチ化します。
conversation = [
{"role": "user", "content": [{"type": "audio"}, {"type": "text", "text": "Hello from Phonon."}]}
]
inputs = processor.apply_chat_template(
conversation,
tokenize=True,
return_dict=True,
add_generation_prompt=True,
processor_kwargs={"audio_prompt_latents": [voice]},
).to(model.device)
# prompt: <|audio_prompt|> × num_frames, "Hello from Phonon.", <|audio_bos|>
generateは潜在表現を返し、プロセッサがそれを音声にデコードします。
outputs = model.generate(**inputs)
# audio_latents: (batch_size, num_frames, 32)
audio = processor.decode(outputs.audio_latents, outputs.audio_latents_mask)
processor.save_audio(audio, "phonon.wav")
詳細はドキュメントを参照するよう案内されています。
今後の展開
Phononは任意の音声で話すことができます。話者の同意を得た短い録音から音声をクローンするか、Gradium Studio上で平易なテキストにより新しい音声を記述することが可能です。その後、音声ファイルをダウンロードしてPhononに読み込ませれば、端末上で完結して動作します。
Hugging FaceはデザインパートナーとともにカスタムのPhononモデルの学習も行っているとしています。メモリ容量に制約がある場合はモデルをより小さくすることが可能であり、韓国語・アラビア語・日本語が必要な場合は、それらに対応した学習も行えるとしています。また、製品固有の語彙がある場合は、それに合わせたファインチューニングも可能だとされています。
Hugging Faceチームおよび公開から2週間のうちにPhononを試した全ての人々への謝意が述べられています。Phononは同社にとって初のオープンリリースだとしています。