記事のサマリー(TL;DR)
- JioStarはエンターテインメントとライブスポーツのプラットフォームを運営し、5億人以上の利用者を抱え、最大7250万人の同時ライブスポーツ視聴者を支えてきたと説明しています。
- OpenAI APIを使い、JioHotstarに会話型の映像・クリケット統計発見アシスタントを構築し、視聴者は自然な話し言葉で映画や番組、過去のハイライト、ライブ試合の場面、クリケットの統計を探せるとしています。
- この機能は15以上の言語に対応し、約8週間で構築され、2月の大型クリケット大会に間に合わせたと述べています。
この記事は、OpenAIが実施した「Executive Function」シリーズの一環で、OpenAIのASEAN担当Go-to-Market責任者であるSidharth Sharma氏が、JioStarのChief ArchitectであるVijay Seshadri氏にインタビューした内容を基にしています。インタビューはシンガポールで開催されたOpenAIのExecutive Summitで行われたとしています。
詳細
コンテンツ発見のあり方を変えると確信した理由
Seshadri氏は、コンテンツ発見の仕組みはこの25年間ほとんど進化していないと述べています。レコメンデーション機能の登場が最後の大きな変化であり、それ以降の多くの取り組みは同じ発想の延長にすぎなかったとしています。
一方で、何を見るかという選択は非常に個人的なものだと説明します。例えば「悲しい気分なので元気が出るものを見せて」というリクエストには多くのニュアンスが含まれており、従来のレコメンデーションシステムではその瞬間を理解することが難しい場合があるとしています。会話であれば、視聴者がその状況を説明する手段になるとし、これを「ボイス・ビジュアル・インターフェース」と呼んでいます。
大型クリケット大会に向けた製品化の経緯
JioStarは10月から11月にかけてこの構想に取り組み始め、2月に開催される大型クリケット大会に向けて準備を進めたとしています。期間はおよそ2か月で、エンターテインメント視聴者とクリケットファンという性質の異なる2つのユーザー層に対応する必要があったと述べています。
エンターテインメント視聴者は「金曜の夜だから驚かせて」といった曖昧な要望やタイトルを知らないまま映画を説明することがある一方、スポーツ視聴者はウィケットの経過や連続する6点、特定の選手が一定のランを記録した試合など、より具体的な情報を求めることがあるとしています。また、クリケットに詳しいユーザーは一球ごとの統計を求めることもあると説明しています。これらは性質の異なる発見の課題であり、エンターテインメント、スポーツの名場面、詳細なクリケット統計を複数言語にまたがる一つの体験としてまとめる作業を短期間で行ったとしています。
JioStarの規模における技術設計上のトレードオフ
ごく初期の段階で、精度・レイテンシ・コストの三者間のトレードオフとして課題を整理したとしています。すべてのエンジニアリング判断はこの3つを同時に考慮する必要があったとしています。
音声入力はこの点を特に重要にしたとしています。ユーザーの60%超がテキストではなく音声を利用しており、見たいものを声で伝えることを好む傾向があるとしています。そのため、応答は関連性が高く、速く、かつ大規模運用において経済的に成立する必要があったとしています。
本番環境における評価システムの設計
Seshadri氏は、評価の仕組みを「評価フレームワーク」と「検証レイヤー」の2つに分けて捉えていると説明しています。本番投入前には評価フレームワークが変更を促す役割を果たし、本番投入後には顧客の行動や失敗事例を新たな評価ケースに変換するフィードバックループが必要だとしています。このサイクルは自己増幅的になり得るものの、正しく機能させるのは非常に難しいとしています。
ドメインの専門家が不可欠だとも述べています。クリケット統計の評価については、熱心なファンがどのような質問をするかを理解しているスポーツ雑誌の編集者のような人々と協力したとしています。プロンプトだけで始めることはできず、深い人間の専門知識をシステムに組み込む必要があると説明しています。
約8週間での構築・立ち上げの進め方
Seshadri氏は、うまくいった点の一つはチーム編成だったとしています。明確な課題設定のもと、データサイエンティストとエンジニアからなる小規模なチームで開始し、OpenAIのforward-deployed engineersが加わり、絶対に外せない要素を特定する作業を一緒に進めたとしています。
最初に取り組んだのはスコープの設定でした。音声やテキストのインターフェースではユーザーがほぼ何でも質問できてしまうため、まずシステムが何に答えないかを決めることから始めたとし、ガードレールの設計を最優先したと述べています。
評価については、シードとなるデータセットから始め、モデルを使ってバリエーションを広げていったとしています。あるモデルが質問への回答方法を決定し、別のモデルが「LLM as judge」として競合する目的を持つ検証役を務める、いわゆる「maker-checker」パターンを作り出したとしています。
これにより、「その判定役自体を誰が検証するのか」という新たな問いが生まれたとしています。検証役の設計自体が一つの評価課題だったとしています。Codexは評価ケースの生成やシステム更新などの作業をチームが加速させる助けになったものの、構築が速くなっても判断と検証の必要性がなくなるわけではなかったと述べています。
振り返って改善したい点
Seshadri氏は、モデルの有効性を本番環境でより早い段階から監視する体制に投資すべきだったと振り返っています。P99レイテンシのような従来のインフラ指標は引き続き重要であるものの、それだけでは不十分であり、本番環境におけるモデルの有効性も監視する必要があると述べています。
経営層がAIを実験から本番運用へ移行する際に留意すべき点
Seshadri氏は、経営層に向けて次の点を挙げています。
第一に、技術にできることと企業内部の実態との間には大きな差があるとし、自社がすべてのフロンティアモデル発表に追いついていなくても、それは珍しいことではないとしています。
第二に、活動量ではなく成果に注目し続けることが重要だとしています。特に企業が入力指標を重視する場合、目に見える動きを意味のある進捗と取り違えやすいと述べ、例えば生成されたコード行数は、そこから意味のある価値が生まれたかどうかを示すものではないとしています。
最後に、多くの企業が必要とされる人間のスキルと裁量を過小評価しているとしています。これは一般的なスキリングプログラムだけで対応できるものではなく、判断力を持ってツールを活用できる人材が必要だとしています。Codexのようなツールを優れたエンジニアに与えればその影響力は増幅されうるが、本番システムを検証する判断力がなければリスクも同様に増幅されると述べています。
Seshadri氏は、特に本番システムにおいては検証とガードレールが必要であり、適切な人材に権限を委ねる必要があると述べ、「手にしているのはロケットのようなものだ」という表現でインタビューを締めくくっています。