記事のサマリー(TL;DR)
- OpenAIは、ウェブサイトが基盤的な生成AI学習へのコンテンツ利用に関する希望をrobots.txtで表明する際の、複数プロバイダー共通のシグナルを尊重すると発表しました。
- この取り組みは任意であり、ウェブサイト運営者が個々のクローラーごとに別々のルールを維持する代わりに、複数の参加プロバイダーに対して同じ意思表示を一度に伝えられるようにするものです。
- この新しいシグナルは、OpenAIが既に提供しているrobots.txtによるクローラー制御を置き換えるものではなく、既存の制御は引き続き適用され、尊重されます。
詳細
発表の背景と目的
OpenAIは、ウェブサイトが基盤的な生成AIの学習にコンテンツを利用されることについての希望を表明するためのファイルであるrobots.txtにおいて、複数プロバイダー間で共通して使われるシグナルを尊重すると発表しました。これは任意の取り組みであり、発行者やウェブサイト運営者が、参加している複数のプロバイダーに対して同一の意思表示を一度に伝えやすくすることを目的としています。
これまでウェブサイト運営者は、個々のクローラーを識別した上で、プロバイダーごとに別々のルールを維持する必要がありました。複数のプロバイダーに共通するシグナルを用いることで、運営者側のこうした作業負担が軽減されるとしています。
実装の時期と既存機能との関係
OpenAIは今後数か月のうちにこのシグナルを実装することを目指しており、実装時には実装内容の詳細について改めて発表するとしています。なお、この新しいシグナルは、OpenAIが既にrobots.txtを通じて提供しているクローラー制御を置き換えるものではありません。ウェブ発行者にページに対する柔軟性と制御を提供する既存のクローラー制御は、今後も引き続き適用され、尊重されるとしています。
IETFの取り組みとの関連
この取り組みは、Internet Engineering Task Force(IETF)のAI Preferencesワーキンググループが進めている継続的な作業を踏まえたものです。OpenAIは、このワーキンググループの他の参加者とともに、本日この共通シグナルについて発表しており、これがIETFの標準化に関する議論への継続的な参加を強化するものだと考えているとしています。OpenAIは、適切な制御と公正性の観点から、こうした議論やこの分野の状況が今後も変化していく中で、自社の取り組みを継続的に調整していくとしています。
OpenAIの見解
OpenAIは、これは人々が情報を発信・発見でき、ウェブサイト運営者が自分のコンテンツの利用方法について、より明確で簡便な方法で意思表示できるオープンなウェブに向けた実践的な一歩であると説明しています。OpenAIは、他のAIプロバイダーに対してもこのシグナルを尊重するよう呼びかけています。