記事のサマリー(TL;DR)
- Hugging FaceはOpen ASR LeaderboardにLiva AIとの協業により、エジプト英語とナイジェリア英語の非公開データセットを新たに追加しました。
- 両データセットはいずれも自発的な会話スタイルで、句読点・大文字小文字・非流暢性(言い淀みなど)を含む書き起こしが付与されています。
- 新アクセントの追加に伴い、Private タブでKachruの「三つの同心円(Three Circles)」モデルに基づくアクセントの内訳表示が導入されました。
詳細
これまでの経緯
数か月前、Open ASR LeaderboardにはAppenとDataOceanAIによる非公開データが追加されました。これは5種類のアクセントにわたる台本読み上げおよび会話形式の音声からなる11分割のデータセットです。コミュニティからの反応は好評で、信頼できる評価のためにはホールドアウトセット(評価専用の非公開データ)が重要であるという指摘が多く寄せられました。その後、Voice Arenaによるインド英語アクセントの非公開分割データが追加されています。
Liva AIとの新たな協業
今回、Hugging FaceはLiva AIとの新たな協業により、エジプト🇪🇬とナイジェリア🇳🇬という2つの新しいアクセントの非公開データを追加すると発表しました。
追加されたデータセットの詳細は以下の通りです。
| データセット | アクセント | 収録時間 [h] | スタイル | 書き起こし |
|---|---|---|---|---|
| Liva AI Conversational EG | エジプト | 1.34 | 会話形式、自発的発話 | 句読点・大文字小文字付き、非流暢性を含む |
| Liva AI Conversational NG | ナイジェリア | 1.55 | 会話形式、自発的発話 | 句読点・大文字小文字付き、非流暢性を含む |
この取り組みは、ASR(自動音声認識)評価における多様なアクセントおよび言語の代表性を高めるとともに、ベンチマーク対策的なスコアの最適化(benchmaxxing)を防ぐための非公開データの追加や、新たなデータ提供元の確保を通じて評価の信頼性を高めることを目的としています。
Privateタブにおけるアクセント内訳の充実
今回の新アクセント追加により、Kachruの「三つの同心円」モデルに基づいた、より詳細なアクセントの内訳表示が可能になりました。これはHume AIが自社のリーダーボードで採用していたアイデアを参考にしたものだと説明されています。
Open ASR Leaderboardでは今後、以下の区分で結果が表示されます。
- 米国 vs. 非米国(英国、オーストラリア、カナダ、インド、ナイジェリア、エジプト)
- Inner Circle(米国、英国、オーストラリア、カナダ)vs. Outer & Expanding Circles(インド、ナイジェリア、エジプト)
今後さらに多くのアクセントが追加されるにつれて、Outer CircleとExpanding Circleは分割して表示される予定です。
Liva AIについて
Liva AIは、実際の人々が利用する消費者向け製品を通じて、マルチモーダルなインタラクションデータを収集しています。Livaはデータ収集の環境と配信の両方を所有しているため、ドメイン、業界、言語、モダリティ、インタラクションの種類といった観点でのモデルの特定のギャップに合わせて製品を設計できるとしています。これにより、人為的に引き出されたものやタスクベースのインタラクションではなく、実際の製品利用の中で自然に生じる高コンテキストな行動データへのアクセスが可能になるとされています。