記事のサマリー(TL;DR)
- Anthropicは火曜日に公開したブログ投稿で、特定の出力がどのAIモデルから生成されたかを検証するオープンソースシステム「FlashProve」を開発中であると明らかにしました。
- FlashProveは「provable inference(証明可能な推論)」と呼ばれる仕組みを提供し、出力が特定のモデルに由来することを示す暗号的な証明(数学的な保証)を生成します。開発元であるAI研究所自身がモデルを偽装しようとする場合でも、これを見破れるよう設計されています。
- 研究はまだ進行中であり、Anthropicや他の研究所でこのシステムを実際に導入する計画は現時点でないとされています。
詳細
FlashProveの目的
FlashProveは、ユーザーが受け取った回答が、自分が利用していると思っているモデルから実際に生成されたものであることを確認できるようにすることを目的としています。研究者らは、送信者を詐称したメールでないことを受信者が確認できる暗号的なメール署名に似た仕組みだと説明しています。FlashProveは、あるモデルを別のモデルに偽装しようとする「なりすまし」に対して頑健であるとされ、その偽装元がモデルを開発・運用している研究所自身であった場合も対象に含まれます。
研究者らは特に、このシステムによって、AI企業がコストを削減するために安価なモデルへ密かに切り替えたり、性能評価を良く見せるためにより高価なモデルにすり替えたりすることを防げる可能性があると述べています。
第三者による主張の検証への利用
FlashProveは、特定のタスクが高度なモデルによって実行されたとする第三者の主張を検証する用途にも利用できるとされています。研究者らはブログ投稿で「ある開発者が、自社のソフトウェアライブラリが最先端のサイバーセキュリティモデルによって脆弱性スキャンされたと主張したり、ある企業が自社の事業計画が適切なモデルによって承認されたと主張したりするかもしれない。ユーザーはこうした主張をどのように検証できるだろうか」と記しています。
仕組みと技術的な条件
このシステムが機能するためには、AI研究所が公開する各モデルの「フィンガープリント」が必要です。このフィンガープリントは、後から特定の出力と照合し、暗号的に検証することができます。重要な点として、このフィンガープリントはモデルの重み(モデルの挙動を規定する内部の数値で、AnthropicやOpenAIのようなクローズドモデルの開発企業が非公開にしているもの)を明らかにしません。そのため、研究所は最も価値のある資産を手放すことなくフィンガープリントを公開でき、商用モデルにもこのシステムを適用できるとされています。
また、このシステムは軽量に設計されており、検証をローカル端末上で実行できるとされています。
公開状況と今後について
発表の一環として、研究者らはシステムの各要素に関する詳細な技術仕様と動作するコードを公開しました。これらはGitHub上でオープンソースライセンスの下、一般に公開されています。
このシステムに関する研究は現在も進行中であり、Anthropicや他の研究所で実際に導入する計画は今のところないとされています。研究者らは発表記事の中で「この研究投稿は、完成した研究計画ではなく、中間的な進捗を共有することを目的としている」とし、「他の人々が私たちの取り組みを見て、それを取り入れ、改善してくれることを明確に目指して共有している」と述べています。