記事のサマリー(TL;DR)
- Jack Dorsey氏率いるBlockの研究部門が、笑いや間、泣き声といった表現を伴い、人間のように聞こえる新しい音声モデル「Dessa(デッサ)」を発表しました。
- Dessaは人間の音声データのみで学習され、NVIDIAのGPUラック1台で訓練されたとBlockは説明しています。発話と聞き取りを同時に行える「フルデュプレックス」モデルで、OpenAIが今年公開した「GPT-Live」モデルと同様の仕組みです。
- モデルはMacBook M4 Max以上の消費者向けコンピューターでローカル実行可能とされていますが、現時点でDessaへの一般公開はなく、Blockは安全性研究者によるテストを募集しています。
利用条件・公開状況について
Dessaは現時点で一般公開されていません。Blockは、消費者向けGPU(例としてMacBook M4 Maxなど)上でローカル実行できるとしていますが、実際に試せるのは同社が募集する安全性研究者に限られます。これは、音声エージェントが対話相手をだましてしまうようなケースを検証する目的とみられます。
詳細
モデルの概要
Jack Dorsey氏のBlockは、同社の研究部門からローカル動作する新しい音声モデルを公開しました。このモデル「Dessa」は、笑いや間(ポーズ)、泣き声といった表現を伴い、奇妙なほど人間らしく聞こえるとされています。Blockによれば、Dessaは完全に人間の音声データのみで学習されており、NVIDIAのGPUラック1台を使って訓練されたとのことです。
Dessaは「フルデュプレックス」モデルであり、話すことと聞くことを同時に行えます。これはOpenAIが今年初めに公開した「GPT-Live」モデルと同様の仕組みです。通常、音声モデルは知識検索のために大規模言語モデル(LLM)と組み合わせて使われますが、Blockは、Dessaの知識は保持している会話データそのものに由来すると説明しています。
Jack Dorsey氏は自身のXアカウントで、「音声こそが知能とやり取りする最も自然な方法だと私たちは考えている。そこで、これまでで最も本物らしいフルデュプレックス音声モデルであるDessaを作った。これと話すことは、人と話しているように感じられる……感情、ニュアンス、間、自然な抑揚に満ちている」と投稿しました。
既存モデルとの違い
Blockは、現在の音声モデルが不自然で耳障りに聞こえることがあると述べています。その理由として、音声生成のパイプラインにテキストが介在している点を挙げました。ElevenLabs v4やFish Audio Drama 3のような多くのモデルは、音声生成時の感情表現を制御するために「ボイスタグ」を使用しています。これに対しDorsey氏の会社は、Dessaでは感情がモデル自体に組み込まれていると主張しています。ただし、その感情表現が何らかのタグによって制御されているのかどうかは明らかにされていません。
Blockはブログ投稿の中で、「現在の音声AIとのやり取りは、はっきり言って最悪なものになり得る。音声をテキストに変換することで、テキストだけでは伝えられない膨大な情報が失われてしまう。世界で最も強力なAIでさえ、あなたがどう感じているかを聞き取ることができない。私たちはそれをばかげていると考えており、体験の質を下げるだけでなく、潜在的に危険でもあると考えている」と述べています。
公開された会話例
Block の研究者は、Dessaとの会話の複数の実例を公開しました。これらの例では、エージェントが異なる声、話し方のリズム、感情を示しています。たとえば、あるやり取りでは、ボットが仕事で疲れていると発言した場面で、実際に疲れたような声で話していました。
Block所属のRagavan Thurairatnam氏は自身のX投稿で、「我々は、音声のみで完全に学習された、現実的な会話ができる初めてのAIモデルを作った。Dessaはコンシューマー向けGPUで動作させられるフルデュプレックスの音声対音声モデルだ。これは音声分野におけるGPT-3的な瞬間だ」と述べました。
別の例では、ボットが自分を作った相手について話しながら感情的になり、ほとんど声を詰まらせるような様子を見せています。さらに別の例では、Blockのチームメンバーが音声アシスタントとゲームをする様子も公開されています。
動作環境と公開状況
Blockによれば、このモデルはMacBook M4 Maxまたはそれ以上の消費者向けコンピューター上でローカル実行できるとされています。ただし、現時点でDessaへの一般アクセスは提供されておらず、Blockは安全性研究者によるモデルのテストを募る呼びかけを行っています。これは、音声エージェントが対話相手を欺くようなケースを検証するためとみられます。
Blockの事業背景
Blockは金融分野を事業としており、中小企業向けにソリューションを販売しています。同社傘下のSquareは、注文対応にすでに音声AIを利用しています。Blockが自社でオンデバイス動作可能な音声モデルを持つことで、より多くのビジネス・消費者向け体験を、より低コストで実現できる可能性があるとされています。