解決できる課題 事業紹介トップ 経営データ分析基盤 AI導入・業務改善 AI 業務アプリ 基幹システムのWeb化・段階移行 複雑な SaaS を専用 UI に Shopify Plus 移行・拡張 生成AI 活用(Multi AI) SEO / AIO / 広告運用 顧問・アドバイザリ インフラ構築 PHP脆弱性対策・更新 WordPressからEmDashへの移行 自社メディア投資・開発
AI導入 AI導入・業務改善 ChatGPTの社内導入 OpenAI Codex導入 AI運用・定着 Claude / MCP 総合 Claude Cowork Claude Code 導入支援 Claude Code 使いこなし支援 Claude Design MCP 開発・サーバー構築
EC構築・移行 Shopify Plus トップ EC-CUBEからShopifyへの移行 大手カートからの移行 Shopify 通常プラン EC サイト構築
実績
業界ニュース 業界ニュース トップ AI ニュース └ Claude └ ChatGPT・Codex └ Gemini └ その他 Shopify ニュース SaaS ニュース お知らせ(自社発信)
会社情報 相談する
2026.10.30

NVIDIA、多言語文字起こしモデル「Nemotron 3.5 Transcribe」とデータ基盤「Granary v2」公開

記事のサマリー(TL;DR)

  • NVIDIAは、文字起こし・話者分離(ダイアライゼーション)・翻訳・音声質問応答を1つのチェックポイントで行うオープンウェイトモデル「Nemotron 3.5 Transcribe」をHugging FaceおよびModelScopeで公開しました。40言語の文字起こし、うち31言語の英語との相互翻訳、13言語での話者分離に対応し、最長1時間の録音と最大8話者のラベル付けを扱えます。
  • Transcribeは、Hugging Face Open ASRリーダーボード(英語)でオープンウェイトモデル中1位、Artificial Analysisの精度対アクティブパラメータ比較でも良好な結果を示しているほか、David AIの21言語話者分離リーダーボードで最も低い誤り率、VoiceArenaの14システム比較で1位と報告されています。
  • 学習データとデータ整備パイプライン「Granary v2」(Hugging Face、ModelScope上で公開)と、NeMo Speechのファインチューニングツールにより、開発者はプロンプトだけでなく学習段階でも出力形式や語彙を調整できます。医療分野の事例では、ファインチューニングにより保留話者(held-out speakers)での単語誤り率(WER)が、最良プロンプト時と比べて相対45.8%削減されたとしています。

詳細

モデル概要

Nemotron 3.5 Transcribeは、オープンウェイトでプロンプト指定が可能な音声認識モデルです。文字起こし、話者分離、翻訳、音声に対する質問応答を1つのチェックポイントにまとめています。多言語の通話、進行の速い会議、医療分野のディクテーションなど、用途によって必要な出力形式(翻訳結果、話者ラベル、専門用語の正しい綴りなど)が異なる点に対応することを目的としているとされています。

開発者は自然言語で出力の指示ができるほか、音声の処理場所を選択でき、ドメイン固有の語彙やアクセントに対して認識を適応させることも可能です。量子化版にも対応しており、RTX Spark、DGX Spark、Jetson AGX Thorなどでローカル実行するか、Blackwellデータセンター向けGPUでスケールさせて利用できるとしています。

自然言語によるプロンプト指定

同一のチェックポイントでも、指示文によって出力が変わります。記事で示されている例は次の通りです。

  • 「この録音を文字起こしし、各話者にラベルを付けてください」
  • 「この音声を英語に翻訳してください」
  • 「この会議ではどのような決定がなされましたか」

記事には、1940年のスクリューボール・コメディ映画『ヒズ・ガール・フライデー(His Girl Friday)』の、早口で発話が重なり合う有名なシーンを使ったデモ動画が紹介されており、Transcribeがこのシーンに字幕を付け、重複した発話も含めて話者にラベルを付ける様子が示されています。

未知の専門用語への対応については、学習の前にまずプロンプトでコンテキストを与える方法が示されています。例として、医療分野での以下のようなプロンプトが挙げられています。

「この医療に関する会話を元の言語で文字起こししてください。想定される用語:HbA1c、メトホルミン。これらの用語は音声内容に裏付けがある場合にのみ使用してください。標準的な医療用語の綴りを維持し、数字は一般的な書き方で表記してください。」

モデルカードには、音声に関する質問に対する推論を含む推奨プリセット、完全なプロンプトガイド、タスクごと・言語ごとの対応表が用意されています。タスクにより対応言語は異なり、音声質問応答は英語で学習されているとのことです。単語単位のタイムスタンプにも対応しています。他の音声モデルと同様、人名、話者の切り替わり、回答内容については録音と突き合わせて確認する必要があるとされています。

リアルタイム音声・映像プラットフォームを提供するAgoraは、授業の録画に単語単位のタイムスタンプを活用した事例を紹介しています。Nemotron 3.5 Transcribeにより、録画した授業がリプレイと並べて表示される文字起こしに変換され、学生が「いつ・何が話されたか」を確認できるようにしたとしています。詳細はAgoraのブログで紹介されています。

リーダーボードでの評価結果

記事では、文字起こし精度と話者分離の両面で複数のベンチマーク結果が紹介されています。

Hugging Face Open ASRリーダーボード:公開テストセットにおける単語誤り率(WER)で文字起こし精度を測定するもので、3つのトラックがあります。

  • 英語:オープンウェイトモデル中1位、平均WER 5.33%
  • 多言語:7言語の平均WER 4.62%で、モデルカードのOpen ASR比較において評価対象のオープンウェイトモデル中最低値
  • 長尺音声:平均WER 10.98%で、同比較内で最も低い値

Artificial Analysis Speech-to-Textリーダーボード:Artificial Analysisが独自の単語誤り率指標「AA-WER」で音声認識モデルを順位付けするもので、Nemotron 3.5 TranscribeはオープンウェイトモデルでAA-WER 2.8%の同率1位となっています。アクティブパラメータ数は約4Bで、同率となったモデル(24B)より大幅に少ない点が述べられています。AA-WER指標の50%を占める保留音声セット「AA-AgentTalk」では、TranscribeはWER 1.8%で、次点のオープンウェイトモデル(2.3%)を上回っています。

TranscribeはスピーチエンコーダーをMamba–Transformerのハイブリッド型Mixture-of-Expertsの言語モデルと組み合わせており、30Bパラメータのうちトークンごとに有効化されるのは約4Bにとどまります。これにより、Artificial Analysisのオープンウェイトモデルにおける精度対アクティブパラメータのパレートフロンティア上に位置するとされ、全モデルを対象としたチャートでも複数の広く使われている商用音声APIより上位にランクされています。

話者分離(ダイアライゼーション):Sortformerによる話者手がかりが音響特徴量とともに言語モデルに渡されるため、生成時に各発話ターンへのタグ付けが行えるとしています。

  • David AIのDAI-ASR-I18Nリーダーボード(文字起こしと話者分離を組み合わせたトラック):評価対象のオープンウェイトモデル中1位、全体では2位。同ベンチマークの21言語対応ダイアライゼーショントラックでは、評価対象14システム中最も低い話者分離誤り率(DER)を記録し、NVIDIAの専用モデル「Nemotron 3 Diarization」をわずかに上回ったとされています(Nemotron 3.5 Transcribeが21言語平均DER 18.26%、Nemotron 3 Diarizationが18.38%)。
  • VoiceArena Diarization-Bench(英語フルセッションのベンチマーク):14システム中最も低い連結最小置換WER(cpWER)を記録し、対面・オンラインいずれの設定でも1位。削除された単語の割合は参照単語の8.32%で、他システムの中央値(約31%)より大幅に少ないとされています。Diarization-Bench v1は英語のフルセッション、発話の重複、2〜8名の話者を対象としています。Nemotron 3.5 TranscribeのcpwERは32.4%で、「NVIDIA Multitalker Parakeet with Nemotron 3 Diarization」(34.2%)がこれに続いています。

その他の評価:Ocular AIのConverse-STT評価ではTranscribeがトップのオープンモデルと評価され、Josh TalksのVoice of Indiaリーダーボードではインドの諸言語における結果が報告されています。

高スループットでの文字起こし

ベンチマークでは、NVFP4量子化版(提供予定)を使用し、NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 1基で100時間分の音声を3分未満で処理したとしています。結果は30秒クリップを高い並列度で処理した条件で測定されたものです。公開されているチェックポイントはvLLMで提供可能であり、NeMo-Speech.cppによるローカル展開も量子化版とあわせて利用可能とのことです。Transcribeは録音済み音声向けに構築されており、ライブストリーミング用ではないとされています。

Granary v2:Transcribeを支えるオープンデータパイプライン

プロンプト指定可能な音声モデルには、曖昧さのない書式の学習データが必要になります。Granary v2は、Hugging FaceおよびModelScope上の「Nemotronスピーチコレクション」の一部として提供されています。NVIDIA NeMo Curatorを用いて構築された再利用可能なパイプラインにより、Nemotron 3.5 Transcribeの学習に使われた多言語音声データが整備され、整合の取れた複数の文字起こしバリエーション、タスクラベル、検査可能な品質メタデータが生成されています。

公開されているマニフェストは、48言語・16種類のソースコーパスにわたる合計463,062時間分のデータをカバーしており、Granary v1の25言語から拡大しています。ただし、この数値はデータセット自体のリリース内容を示すものであり、Transcribeの学習全体で使われたデータ構成やそのサンプリング比率を表すものではないと説明されています。

Granary v2は、1つの録音につき3種類の文字起こし形式を生成します。これは開発者がプロンプトでTranscribeに要求できる逐語体・整形体と同じ区分です。

学習ターゲット 文字起こし例
テキスト正規化(逐語) I paid, uh, twenty-five euros.
逆テキスト正規化(非流暢表現あり) I paid, uh, €25.
逆テキスト正規化(非流暢表現なし) I paid €25.

文字起こし以外にも、このパイプラインは短い音声キャプション、借用語のコードスイッチング復元、音声に基づく質問応答ペア、文脈付きASRバイアス用語、自動品質スコア付きの翻訳を生成します。

パイプラインは4つの再利用可能なステージで構成されています。

  1. 音声準備(メタデータ):生の音声や長尺音声をセグメント化し、録音全体を通じて話者を追跡し、音響イベントと言語にタグを付けます。Granary v2のソースデータは既にセグメント化済みだったため、今回のリリースではこのステージは省略されています。
  2. 文字起こし(ASR):各言語を主要および復旧用のASRモデルに振り分け、主要モデルが幻覚(hallucination)チェックに失敗した場合にフォールバックします。人手による参照文字起こしは、信頼できる綴りを維持しつつ話し言葉特有の表現や非流暢表現を加えるのに役立てられています。
  3. タスクラベル生成(テキスト):文字起こしのバリエーションを導出した後、文字出現率、幻覚パターン、モデルまたは人手参照との一致度をチェックします。採用された記録のみが、文脈付きASR用語と翻訳の対象となります。
  4. 高精度化(HiFi):ノイズが多い、音が途切れている、または複数話者を含むセグメントを除外し、ASR以外の用途にも使える小規模で高品質な録音セットを残します。VoxPopuliデータセットでは、22のヨーロッパ言語にわたり354,000時間分を111,000時間分に削減したとされています。

開発者は、RayおよびNVIDIA Dynamoバックエンドを用いて、自身の録音データや許諾を得た公開コーパスに対してNeMo Curatorパイプラインを実行できるほか、Granary v2の公開マニフェストをそのまま利用することもできます。マニフェストには、tn_raw、itn_raw、itn_cleanの3種類の文字起こし形式、前述のラベル、エンティティのヒント、派生した指示ペア、データの出所情報、レコードごとの品質フラグが含まれています。音源となる音声データは各コーパスの元のライセンスに基づき別途ダウンロードし、リリースに記載された利用条件に従う必要があります。

重要語彙への認識適応

まずは、言語、文字体系、文字起こし形式を指定した開発用プロンプトから始める方法が紹介されています。後述の事例では、プロンプトに英語とラテン文字を明示したことで、ベンチマーク全体のWERが30.8%から23.8%に改善したとされています。

それでも残るドメイン固有の誤りについては、NeMo Speechのファインチューニングワークフローにより、代表的な音声データと明示的な書き起こしターゲットを組み合わせて対応します。

NeMo Speechの医療分野ASR事例研究では、インドの医師・医学生による録音から成るEka Careの公開ベンチマーク(3,619クリップ、学習用split指定なし)を用いて、この改善プロセスが示されています。この研究では、生成した医療用テキストと公開の医薬品カタログからアダプテーション用データを構築し、約153時間の合成音声、Common Voiceによる29時間のアクセント付き英語、MultiMedによる63時間の医療録音を組み合わせています。

Eka Careのインド医療音声ベンチマークの全体テストセットにおいて、プロンプト改善によりWERが30.8%から23.8%に低下し、ファインチューニングによりさらに11.8%まで改善したとされ、これは初期状態のモデルと比較して約62%の誤り削減に相当するとされています。この全体セットには、プロンプトおよびチェックポイント選定に使われた855クリップが含まれており、後述の保留結果はより厳密なテストに基づくものです。

合成データの生成では、書き起こしターゲットとその音声表現が分離されています。例えば、「HbA1c」がラベルとして使われる一方、音声合成エンジンには「H B A one C」が送られます。複数の音声合成(TTS)の声を使うことで音声のバリエーションを広げ、実際の録音を加えることでアクセントや収録条件の多様性を確保しています。学習用テキストは、ベンチマークの参照テキストとの完全一致や8単語連続の一致についてフィルタリングされています。

Granary v2の明示的なターゲット設定と同様に、学習例では数字、単位のスペース、企業名の展開表記、ブランド名のハイフンの有無などが変化させてあり、必要な表記規則は指示文で指定されています。一部のプロンプトには、紛らわしい候補語を含む用語リストが含まれており、モデルが音声内容に裏付けがある場合にのみその綴りを使うよう学習させているとしています。

最終的なシステムでは、1つの固定された表記規則プロンプトと1回のモデル推論のみが使われ、検索処理や文字起こし後の後処理は行われていません。このレシピでは、音声エンコーダーと射影層を学習し、LoRAを用いて言語モデル部分を適応させています。異なるデータ構成による2回の学習を行い、アダプターのマージ後、選定したチェックポイントを均一平均して1つの最終モデルにまとめています。チェックポイントの選定には、学習時の損失だけでなく、開発セットのデコード結果が使われています。テキスト生成から評価までの全体のアダプテーション作業は、NVIDIA GB300 1基で約14 GPU時間を要したとされています。

保留話者で測定されたドメインごとの改善

この研究では、ベンチマークを話者ごとに、プロンプトとチェックポイントの選定に使う855クリップと、各最終システムにつき1回だけデコードする2,764クリップの保留データに分割しています。Eka CareのKARMAスコアリングパイプラインを用いると、ファインチューニングにより保留データでのWERは、最良プロンプトのベースラインの22.44%から12.17%へと低下し、相対45.8%の削減となっており、この改善が新しい話者にも一般化していることを示す最も明確な根拠だとされています。キーワードWERは9.2%から6.5%に、意味的WER(semantic WER)は10.0%から7.6%に低下しています。

同じ保留話者・同じスコアリング方法において、適応後のモデルのWER(12.17%)は、オープンな医療専門モデル(13.79%)や広く使われている汎用ASRモデル(14.92%)を上回っているとされています。一方、一般的な英語を対象としたLibriSpeech test-cleanでは、WERが1.54%から1.69%へとわずかに上昇しています。

ブランド名の医薬品や診断名の完全一致については、依然として医療専門モデルの方が優れているとされており、この研究では、臨床医が実際にブランド名を発話する録音データを用いることを次のステップとして挙げています。自身のドメインに適用する際には、チェックポイント選定のために少なくとも100件の実録音かつラベル付けされたクリップを確保し、一般的な音声性能の維持とあわせて、自社アプリケーションが依存するエンティティの種類を評価することが推奨されています。この事例研究には、各ステップを再現するためのコマンドが含まれています。

ファインチューニングのチュートリアルでは、レシピ、必要なリソース、学習・エクスポート・評価のためのツールが紹介されており、新しい言語やコードスイッチングのASRにも対応しています。付属のエージェントスキルを使うことで、コーディングエージェントがベースラインの選定、データチェック、学習の検証、アダプターのマージ、評価までの一連のワークフローを実行できるとされています。また、ModelScopeでも、ms-swiftフレームワークを通じてNemotron 3.5 Transcribeを特定のマルチモーダル用途向けにファインチューニングできるとしています。

利用方法

Nemotron 3.5 Transcribeは、Hugging Faceのデモまたは ModelScope Studiosで試用でき、チェックポイントはHugging FaceまたはModelScopeからダウンロードできます。セルフホスティングによる文字起こしには、vLLMまたはSGLang-Omniが利用でき、いずれも提供開始時点から対応しているとされています。セルフホスティングを避けたい場合は、Baseten、DeepInfra、Simplismartのホスト型エンドポイントが利用可能です。独自ドメインへの適応には、Hugging FaceまたはModelScope上のGranary v2マニフェストと医療ASR事例研究から始めるか、ファインチューニング用エージェントスキルを使ってコーディングエージェントにワークフローを実行させる方法があります。

モデル・データセット関連リンク:モデルチェックポイント(Hugging Face、ModelScope)、インタラクティブデモ(Hugging Face、ModelScope)、ホスト型エンドポイント(Baseten、DeepInfra)、データセットマニフェスト(Granary v2、Hugging Face、ModelScope)、高精度サブセットのマニフェスト(Hugging Face、ModelScope、Hugging Face上のSpace)、リポジトリ・チュートリアル(NVIDIA NeMo Speech GitHub、NeMo Curator Granary v2パイプライン、vLLM導入ガイド、音声ファインチューニングガイド、ファインチューニング用エージェントスキル)、パートナーブログ(Agora、Inflection AI、VoiceArena、Simplismart、DeepInfra)。