解決できる課題 事業紹介トップ 経営データ分析基盤 AI導入・業務改善 AI 業務アプリ 基幹システムのWeb化・段階移行 複雑な SaaS を専用 UI に Shopify Plus 移行・拡張 生成AI 活用(Multi AI) SEO / AIO / 広告運用 顧問・アドバイザリ インフラ構築 PHP脆弱性対策・更新 WordPressからEmDashへの移行 自社メディア投資・開発
AI導入 AI導入・業務改善 ChatGPTの社内導入 OpenAI Codex導入 AI運用・定着 Claude / MCP 総合 Claude Cowork Claude Code 導入支援 Claude Code 使いこなし支援 Claude Design MCP 開発・サーバー構築
EC構築・移行 Shopify Plus トップ EC-CUBEからShopifyへの移行 大手カートからの移行 Shopify 通常プラン EC サイト構築
実績
業界ニュース 業界ニュース トップ AI ニュース └ Claude └ ChatGPT・Codex └ Gemini └ その他 Shopify ニュース SaaS ニュース お知らせ(自社発信)
会社情報 相談する
2026.10.31

NVIDIA Nemotronのオープンモデルで作るハロウィーンの「おしゃべりお化け屋敷」MonsterHouse

記事のサマリー(TL;DR)

  • 著者はハロウィーン向けに、来訪者(trick-or-treater)の声を聞き取り、気難しい老海賊船の声で応答し、来訪者が礼儀(「please」「thank you」)を示すと態度が和らぐ対話型プロジェクション「MonsterHouse」を制作しました。
  • MonsterHouseは、NVIDIA Nemotron Voice Agentを基盤に、NVIDIA Nemotron ASR、Nemotron 3.5 Bolt E4B(4GB版)、Magpie TTS Zeroshot、Audio2Face-3Dを組み合わせて構築されており、単一のワークステーション上で動作します。
  • NVIDIA Nemotron 3 Nano Omniによる視覚認識(コスチューム描写)やYOLO・ByteTrackによる人数カウント・追跡も組み込まれていますが、記事ではこれを「オプションの観察者」機能と位置づけ、本番の来訪者を使った性能テストは今後の課題としています。

利用した構成要素と前提条件

この事例は、著者(NVIDIA勤務)が個人のハロウィーン企画として構築したものであり、以下の条件・前提のもとで作られています。

  • システムは「オフグリッドで完全に自己完結」させることを目指したため、メモリと計算リソースの予算に制約がありました。
  • MonsterHouseのコード自体は公開されていませんが、使用されているNVIDIAの各モデルはすべて現時点で入手可能であり、NVIDIA Nemotron Voice Agentを使うことでほぼ同等の仕組みを再現できるとされています。
  • Bolt E4Bについては、著者がNVIDIA社員であるため、一般公開前にテストする機会があったと説明されています。
  • 音声については「許可を得た声のみを使用すること」という注意が明記されています。

詳細

MonsterHouseの仕組み

MonsterHouseは、ガレージドアに口を与え、文句を言うように「しつけた」という着想から生まれた、気難しい古い建物のキャラクターです。火のような笑みと、「please」という言葉に弱いという設定を持つ、海賊話を語る存在として作られています。

構成要素は以下の通りです。

  • 聞く(Listening):NVIDIA Nemotron 3 ASR(nemotron-speech-streaming-en-0.6b.q8_0.gguf)が来訪者の発話をテキストに変換します。
  • 考える(Thinking):NVIDIA Nemotron 3.5 Bolt E4B 4GB(会話エージェント向けのオープンな小型言語モデル)が各応答を生成します。性格づけにはLoRAアダプターが使われています。
  • 話す(Speaking):NVIDIA Magpie TTS Zeroshotが、キャラクターの短い参照音声サンプルから各応答を音声化します。
  • 動かす(Animating):NVIDIA Audio2Face-3Dが、クリーンな音声データをUnreal Engine 5上の口の動きに変換します。
  • 見る(Seeing):NVIDIA Nemotron 3 Nano Omniがコスチュームを描写し、YOLOとByteTrackが来訪者の人数カウントと追跡を行います。
  • 実行する(Running it):NVIDIA Nemotron Voice Agentが、NVIDIA RTX PRO 6000 Blackwell Max-QとNVIDIA RTX PRO 4000 Blackwellを搭載した1台のワークステーション上で全体を統括します。

外見と表情の作り込み

著者はまず「口」から着想しました。木製のガレージドアの板が裂けてギザギザの唇になり、口を開けるたびに奥から地獄の炎が車道を照らすイメージです。古びていて、表情豊かで、来訪者の存在にわずかに不満そうに見える必要がありました。

カスタムのアニメーションリグ作成は、制作の中でも特に手間のかかる部分の一つだったとされています。試行錯誤の末、Audio2Face-3Dが後からアニメーション化できる表情のシェイプをエクスポートできるようになりました。キャラクターのSkelMeshはAutodesk Mayaで作成し、Unreal Engineにエクスポートした上で、ドアの奥に仮想的な炎とエフェクトが追加されています。目も眉もなく、瞬きもしないという点で、経済的な作りのモンスターになっているとのことです。

このキャラクター制作が進む一方で、NVIDIA側ではNemotron Voice Agentが構築されており、当初は大変だと想定されていた会話まわりの構築は、むしろ「反復的で楽しく、簡単」な作業になったと述べられています。

性格づけと会話フロー

著者は、この家が「沈没した海賊船の廃材から建てられた」という設定の裏話を考案しました。これにより、海にまつわる文句にも理由が与えられています。

会話の進行には、挨拶からお別れまでのガイドとなる流れが用意されています。

  • 最初は「忙しいからご近所さんに行ってくれ」といった言葉で来訪者をあしらいます。
  • しかし粘り強く接すると態度が軟化し、「please」と言えば即座に態度が崩れ、「thank you」で温かい別れの言葉が得られます。
  • 一度懐柔された来訪者に対しては、その状態を維持するようにしているとのことです(同じガレージドアと何度も交渉したい人はいない、という理由です)。

モデル選定について、著者は「ただ『不機嫌であれ』と指示するだけのプロンプトでは不十分」であり、会話全体の流れに従い、来訪者の発言に応答し、やり取りの状態を追跡し、パイプラインの他の処理用に計算資源を残す必要があったと説明しています。10種類以上のモデルを試した結果、ライブの対話生成にはBolt E4Bを採用しました。Bolt E4Bは、ローカルで動作する会話エージェントや対話型キャラクター向けに作られたオープンな小型言語モデルであり、既定の応答モデルとして4ビット量子化版(名称中の「4GB」)を使用し、比較用にBF16チェックポイントも利用可能としています。著者は、Bolt E4BについてQwen3 30B-A3BやQwen 3.6 35B-A3Bといった他の有力モデルよりも footprint(必要リソース量)が小さく、優れた選択肢だったと評価しています。

性格づけ自体は、プロンプトとアプリケーションロジック、そして数千件のレビュー済み会話例で学習したLoRAアダプターによって作られています。5000件を超える複数ターンの会話データセットを作成し、候補となる各モデル向けにLoRAを学習させており、学習にかかる時間はモデルによって約1時間から数時間までさまざまだったとされています。ローカルエージェントが学習と評価の実行を担い、データセットの生成・採点には、そのエージェントと大規模なLLMが使われました。この作業は夜間や本業の合間に行われたとのことです。

LoRA適用後は、応答の一貫性・タイミング・トーンを確認し、モデルやアダプターの品質・繰り返し・速度をベンチマークし、実際の演技として聞いてみるという流れで検証しています。著者は「最終的には折れるべきだが、愛想の良いコンシェルジュになってもいけない。多少の抵抗は魅力の一部だが、ガレージドアとの終わりなき言い合いは違う」と述べています。

応答速度の工夫

著者は、あらかじめ用意したテキストと保存済み音声という2種類の「近道」を用意しています。あらかじめ用意された(authored)テキストは新規の対話生成を省略し、保存済み音声は音声合成を省略します。クリーンな音声はアニメーション生成にも使われますが、観客に聞かせる効果音処理とは別経路です。

応答が遅いとお化け屋敷としての説得力が落ちるため、パイプラインは応答文全体が完成する前から、発話可能なテキストを順次出力する仕組みになっています。よくあるやり取りに対しては、定型の挨拶やお菓子にまつわるジョークがあらかじめ用意されたテキストバンクでカバーされ、言語モデルの処理負荷を抑えるとともに、キャッシュされた録音が音声合成の負荷を抑えています。

記事では以下の数値が示されています。

  • Bolt Q4とTTSを使った場合の、発話終了から音声出力までの中央値:1.70秒
  • キャッシュされた応答の場合の中央値:0.72秒
  • (注記:発話終了の検出は現在300ミリ秒の無音を待って判定しています)

音声と表情の連携

NVIDIA Magpie TTS Zeroshotは、テキストをクイーンズ・イングリッシュの音声に変換します。そのゼロショット音声条件づけは、学習済みの声ではなく短い参照音声サンプルを用いる方式で、著者自身が気難しい海賊キャラクターの声を提供しています。

このキャラクターには、不機嫌・威圧的から愉快・上機嫌まで7種類の感情(mood)が設定されており、各セリフの感情タグはプロンプトテンプレートで規定され、LLMによって選択されます。感情ごとに3〜10秒の異なる音声サンプルが必要なため、UIのツールタブに「Sample your Voice(あなたの声をサンプリングする)」というブロックを追加し、著者自身が happy pirate や angry pirate の声でサンプルのセリフを読んで録音できるようにしています。本番時にはBolt E4Bが発言内容を決定し、Magpieがそのテキストを適切な喜び・落胆の調子で音声化します。

パイプラインの次の工程は、Audio2Face-3DとEpic社のUnreal Engineで作成した3Dキャラクターシーンです。Audio2Face-3Dの既定モデルの重みは、クリーンでニュートラルな男性・女性の声(深すぎず高すぎない)で最も良く機能するとされ、用途に応じて適切な性別のモデルを選ぶ必要があるとされています。著者はこの家に、エコーと残響のかかった非常に低く悪魔的な声を持たせたいと考えていましたが、自身の声サンプルにはそうした演劇的な重みがないため、かえって都合が良かったとのことです。Audio2Face-3Dはサンプルからクリーンな音声を取得し、別の音声ストリームがスピーカーから再生されるリアルタイムの声エフェクトを調整可能な形で追加します。

処理を安定させるため、作業は2基のGPUに分割されています。言語モデルと音声モデルのパイプラインはNVIDIA RTX PRO 6000 Blackwell Max-Qで、Unreal EngineのグラフィックスとAudio2Face-3DはNVIDIA RTX PRO 4000 Blackwellで動作します。著者は「問題になるのはメモリではなく計算力だ」とし、エージェントパイプラインの処理状況に関わらず、アニメーションのフレームレートを一定に保ちたかったと述べています。音声・アニメーション・エフェクトは足並みをそろえる必要があり、説得力のあるモンスターには速い応答だけでなく、その文句が建物自身のものであるかのように聞こえることが必要だとしています。音声同期のタイミング調整は可能で、一度設定すればそのままにしておけたとのことです(100ミリ秒はAudio2Face-3Dのバッファリングを補正するための値です)。

操作用のコントロールパネル

「家をしゃべらせる」という目標は、いつの間にか多くの操作項目を備えたインターフェースを必要とするようになりました。著者はキャッシュされたセリフの試聴、開始時の機嫌の調整、会話の追跡、声質の変更、口のアニメーション調整などを行えます。タブは会話、モデル選択、録音、プロンプト、パフォーマンスモニタリング、カメラ映像を扱い、サウンドボードとカスタムセリフ入力欄によって、著者が任意の言葉を家に話させることもできます。モデル読み込み用のコントロールやUnreal Engineとの接続状態インジケーターも用意されており、「モンスターが黙っているように見えても、実際には接続が切れているだけ」という場合があるためだとしています。

視覚的な合図と発話を結びつけるルールは編集可能で、ライブの合図は発話と同時に始まり、録音済みの演出は保存済みのタイムラインに沿って再生できます。シーンを作り直さなくても機嫌の変化を指示できるとされています。モードは3種類あり、Liveモードは通常のトリック・オア・トリート用キャラクターとして動作し、Demoモードは家に自己紹介をさせるモード、Microphoneモードは音声認識・対話生成・音声合成を介さずに著者が家を通して直接話せるモードです。この場合、著者のクリーンな声が口の動きを駆動し、観客にはエフェクト処理済みの声が聞こえます。著者はこれを「家に取り憑かれた状態」と冗談めかしつつ、便利なフォールバック手段だとしています。

視覚認識機能と今後の課題

NVIDIA Nemotron 3 Nano Omniは、家に視覚的な文脈を与えるVLM(視覚言語モデル)です。オプションの観察者として、カメラ画像を解釈し、見えているコスチュームを描写することで、キャラクターが具体的に反応できる材料を提供します。あらゆる要素を自作するのではなく、著者は広く使われている物体検出・追跡モデルであるYOLOとByteTrackを採用し、視野内の人数のカウントと追跡を行わせています。これらの処理を分離しておくことで、Omniに毎フレームの実況をさせることなく、家が人の集団に気づけるようにしているとのことです。

ふざけたテストとして、著者はコスチュームを着た5匹の羊が玄関先にいる映像をOmniに与えたところ、保存された解析結果では海賊、吸血鬼、魔女、カボチャ、幽霊の衣装が識別されたとのことです。この羊の映像はあくまで合成テストであり、実際のハロウィーンの夜の成功を示すものではなく、実際の玄関先の人の集まりや衣装、夜間の照明についてはまだテストが必要だと述べられています。検出によって自動的な挨拶がトリガーされる一方で、流行のコスチューム識別や気の利いた切り返しについては、追加の学習(post training)が必要になるかもしれないとされています。また、家には目がないため、著者はこの来訪者認識の仕組みを「エコーロケーション」と呼んでいると紹介しています。

今後の課題として、アニメーションの改善、実際の来訪者を使った本番環境での性能テスト、お菓子の自動提供機能の実装などが挙げられています。著者は、自分が家族とともに近所のお化け巡りに出かけている間、家にハロウィーン対応を任せきりにするという当初の目標にはまだ到達していないとしつつ、それが今回の取り組みの目的であることに変わりはないと述べています。

自分で同様のキャラクターを作るには

MonsterHouse自体のコードは公開されていませんが、使用されているNVIDIAの各モデルは現時点ですべて入手可能であり、NVIDIA Nemotron Voice Agentを使うことでほぼ同等の仕組みに到達できるとされています。著者が示す手順は以下の通りです。

  1. 音声パイプラインから始める:NVIDIA Nemotron Voice Agentをクローンし、Generic Assistantの例を実行します。これにより、Nemotron Speech ASR、LLM、Magpie TTSに加え、音声区間検出(VAD)と発話終了判定を備えたカスケード型パイプラインが得られ、キャラクターがいつ話すべきかを把握できるようになります。
  2. Bolt E4Bを「頭脳」にする:Voice Agentには、クラウド・サーバー・単一GPU向けのBolt E4Bプロファイルが用意されています。まずbuild.nvidia.com上でモデルを試すことができます。短く音声出力に適した応答には会話モードを、より単純なやり取りには推論を無効化するモードを試すよう案内されています。
  3. 性格を与える:システムプロンプトといくつかの関連する対話例から始めます。誰がすでに「please」と言ったか、といった会話状態は、モデルに記憶させるのではなく、アプリケーション側で保持することが推奨されています。プロンプトだけでは不十分な場合は、LoRAアダプターを学習させます。NVIDIA NeMo AutoModelには、Bolt E4B向けのLoRAレシピが用意されています。
  4. 声を与える:Voice Agentの既定はMagpie TTS Multilingualです。カスタムキャラクターを作る場合は、短い参照音声サンプルから動作するMagpie TTS Zeroshotを利用できます。build.nvidia.com上で試すことができ、自分で実行するにはアクセス申請が必要です[確認中:アクセス方法とリンク]。許可を得た声のみを使用することが求められています。
  5. 顔を与える:NVIDIA Audio2Face-3Dは、音声をキャラクターの表情アニメーションに変換します。クリーンな音声を入力し、エフェクトは後から追加します。
  6. (オプション)目を与える:Voice AgentのNemotron Omni Assistant Subagentsの例では、Nemotron 3 Nano Omniによるライブのウェブカメラ理解が追加されます。人数把握が必要な場合は、軽量な人物追跡と組み合わせます。

よく使われるセリフについてキャッシュされた応答集と保存済み音声を用意しておくことで、処理の遅いモンスターでも機敏に見せられるとされています。また、計算リソースに制約がある場合は、Nemotron 3 ASRとPythonの会話ルーター、すべてキャッシュ済み音声だけを使った「Live版」を作ることも可能だとしています。Bolt E4BとMagpieのパイプラインを使ってオフラインで数百件の応答を生成し、本番ではそのキャッシュを使うという方法で、著者はこれをインタラクティブなカボチャ(pumpkin)向けに行う予定だと述べています。

参考リンク

  • NVIDIA Nemotron Voice Agent(GitHubおよびbuild.nvidia.com)
  • NVIDIA Nemotron 3.5 Bolt E4B 4GB(Hugging Faceおよび技術ブログ)
  • NVIDIA Nemotron 3 ASR(ストリーミング、英語)
  • NVIDIA Magpie TTS Zeroshot
  • NVIDIA Audio2Face-3D
  • NVIDIA Nemotron 3 Nano Omni