記事のサマリー(TL;DR)
- Nvidiaは水曜日、無料で公開重み(open-weight)の音声書き起こしモデル「Nemotron 3.5 Transcribe」と、オープンソースの音声データセット「Granary」のバージョン2を公開しました。
- Nemotron 3.5は最大40言語の音声を書き起こし可能で、英語との間で31言語の翻訳、最大1時間の録音の処理、最大8人の話者の識別に対応すると、Nvidiaは説明しています。
- Transcribeは録音済みの音声に対応するもので、ライブストリーム(生配信)には対応していません。
利用条件・制約
Nemotron 3.5 Transcribeは録音された音声データの処理を対象としており、ライブ配信音声には対応していない点が制約として挙げられています。一方で、パラメータ数は300億(30 billion)とされ、Jetson AGX Thorロボティクスコントローラー、ノートパソコンに搭載されるDGX Sparkチップ、データセンター向けのBlackwellチップに至るまで、単一のチップ上で動作するとNvidiaは説明しています。
詳細
Nemotron 3.5 TranscribeとGranary v2の概要
Nvidiaは今回、無料かつ公開重みのモデルであるNemotron 3.5 Transcribeを公開しました。このモデルは最大40言語の音声を書き起こすことができます。あわせて、同社のオープンソース音声データセット「Granary」のバージョン2も公開されています。
Nvidiaによると、Nemotron 3.5は英語との間で31言語の翻訳が可能で、最大1時間の長さの録音を処理でき、最大8人の話者を区別できるとしています。また、Hugging Faceの「Open ASR Leaderboard」を含むベンチマークで競合を上回ると、同社は主張しています。
想定される用途
これらのツールは、ビジネス会議や医療分野の書き起こしといった、AIが職場で確立された活用領域向けのアプリを開発する開発者を対象としています。Nvidiaによれば、開発者はこのモデル、更新されたGranaryデータセット、そして同社の音声モデル「NeMo Speech」などのツールを使い、各言語における業界特有の専門用語を認識できるようアプリをカスタマイズできるとしています。
制約事項
一つの制約として、Transcribeは録音済みの音声には対応するものの、ライブストリームには対応していません。
一方でNvidiaは、パラメータ数300億のTranscribeについて、Jetson AGX Thorロボティクスコントローラーや、新型ノートパソコンに搭載されるDGX Sparkチップから、データセンター向けのBlackwellチップに至るまで、単一のチップ上で動作すると説明しています。
既存の音声モデル群と業界動向
Transcribeは、パラメータ数11億と非常に小型ながら高性能とされる「Parakeet」をはじめとする、Nvidiaの公開重み音声モデル群に新たに加わる形となります。
Nvidiaの今回の音声分野への新たな参入は、AI音声関連のリリースが相次ぐ時期に行われました。Mistralは今月初めに「Voxtral 3」を提供開始し、ElevenLabsは音声エージェント向けの即時音声対応「Realtime」を公開、Salesforceは音声モデル「Launa-Omni」をリリースしています。