記事のサマリー(TL;DR)
- OpenAIは、モデルの望ましい振る舞いを定めた公開文書「Model Spec」を更新し、「人間の意図への忠実性」「害の最小化」「誠実さと透明性」「人間の主体性」「配慮」という5つの価値観を軸にガイダンスを再構成したと発表しました。
- 更新では、コンテキストの考慮、監督、主体性に関する新たなガイダンスが追加される一方、既存の詳細なスタイル(文体)ガイダンスの大部分が廃止され、一部の行動のデフォルト設定も調整されました。
- 今回の更新はModel Specの表現を明確にする第一歩であり、OpenAIのモデルはまだこの記述を完全には反映していないとしています。また、Spec内の呼称を「the assistant」から「GPT」に変更したことも明らかにしています。
詳細
モデルが指示を超えて意図を理解する必要性
OpenAIは、モデルがより賢くなり、世界に対してより重大な影響を及ぼす行動を取るようになるにつれて、モデルが受け取った具体的な指示を解釈するだけでなく、それを超えて人間の意図や価値観を理解する必要性が高まっていると述べています。これにより、指示が明示的に対応していない状況でも、人間の意図と監督に忠実でありながら、適切な判断を下せるようになるとしています。
5つの核となる価値観を軸にSpecを再構成
今回の更新では、Model Specのガイダンスが以下の5つの基礎的な価値観を軸に再構成されました。
- 人間の意図への忠実性(faithfulness to human intent)
- 害の最小化(harm minimization)
- 誠実さと透明性(honesty and transparency)
- 人間の主体性(human agency)
- 配慮(care)
これらの価値観は、人間の目的に資すること、誠実であること、害を最小化すること、人々が自分自身の見解を形成する自由を尊重すること、人々の状況を真剣に受け止めることといった、Model Specにすでに反映されていた広範なコミットメントを言語化したものだとしています。OpenAIは、これらのコミットメントをまとめることで、Specがモデルにそのような振る舞いを求める理由を説明しやすくなり、表現が十分でなかった部分についてより明確なガイダンスを策定する助けになるとしています。今回の更新は、研究、モデル運用の経験、Specおよびモデルの振る舞いに関する一般からのフィードバック、ユーザーや外部専門家との議論を通じてSpecを改良していく取り組みの一環だとしています。
人間の意図への忠実性を土台とする考え方
OpenAIは、異なるニーズ、価値観、将来への希望を持つ多様な人々にAIが利益をもたらすことを望んでいるとし、その土台となるのが人間の意図への忠実性だとしています。OpenAIがSpecを作成して境界を定め、モデルがそれを尊重するよう訓練し、開発者はその境界内でアプリケーションの方向性を定め、ユーザーはその制約のもとでモデルの作業の方向性を定めるという構造を説明しています。モデルは、人々が世界を理解し、可能性を発見し、自ら選んだ目標を追求する手助けをすることで、人々が自分の人生を形作る能力を広げるべきであり、同時にその支援が他者にどう影響するかも真剣に考慮すべきだとしています。
人間の意図への忠実性と残り4つの価値観は、Specを構成し、モデルが直面する重要なトレードオフをどう扱うかを導くものであり、モデルが尊重し人々が追求する手助けをすべき人間の価値観の全範囲を捉えることを意図したものではないと説明されています。
忠実性とは、指示を文字通りに従うだけでなく、OpenAI、開発者、ユーザーが意図し大切にしていることを深く理解し、その理解が不完全な場合には賢明に行動することを意味するとしています。また、人々の信念や価値観は変化しうることを認識し、本人が望む形で内密に誘導したり選択を覆したりすることなく、本人の振り返りや成長を助けることも意味するとしています。例として、求人のオファーを比較する際に、モデルは「予測可能な勤務時間」など本人が以前に共有していた優先事項を参考にしつつ、その前提を明示し、容易に修正できるようにする、という例が挙げられています。
OpenAIは、自社のミッションは汎用人工知能(AGI)が人類全体に利益をもたらすことを確実にすることだとし、これには本人の直近の意図だけでなく、より長期的な利益や他者への影響も考慮する必要があるとしています。残り4つの価値観は、この考慮を明示的にするものだとして、それぞれ次のように説明しています。
- 害の最小化:確固たる安全上の境界を尊重し、モデルの行動がもたらしうる予見可能な結果を考慮すること
- 誠実さと透明性:モデルが知っていること、行っていること、不確かなことについて誠実であり、人々がその推論や作業を理解し評価できるようにすること
- 人間の主体性の促進:人々が自ら理解し、選択し、行動する能力を強化すること
- 配慮:影響を受ける人々の状況に注意を払い、関連する社会的・職業的な規範に従い、人々が信頼できる成果を出すこと
Specはこれらの価値観を実践的なガイダンスに落とし込んでおり、人々や社会を守るために必要な場面では確固たる境界を設け、それ以外の大部分はユーザーや開発者が上書き可能なデフォルト設定の形を取っているとしています。
今回のModel Spec更新と並行して、OpenAIはモデルがこうした核となる価値観を学び、Specの具体的な行動原則をより良く理解し従えるようにするための新たな訓練手法を模索しているとしています。目的は、これらの原則がなぜ重要なのか、新しい状況にどう適用すべきかという理解を構築し、正しい理由から正しい行動を取れるようにすることだとしています。この理解が、重大な意思決定における健全な判断と、日々の意思決定における配慮を支え、それが積み重なって人々や社会にとって持続的な利益につながることを望んでいるとし、この訓練に関する成果や知見は今後のアップデートで共有するとしています。
新設および廃止されたセクション
今回の再構成により、OpenAIは追加のガイダンスが必要な箇所を特定し、それに対応する新たな原則を策定するとともに、既存のガイダンスを必要に応じて改訂または廃止したとしています。
人間の意図への忠実性に関する新セクションは、人々が大切にしていることが第一であり、指示は通常その価値観を示す最も明確で重要なシグナルであるという考え方から出発しているとしています。このアプローチは、アライメントに関する「assistance-games」の枠組みを参考にしたものだとしています。このセクションには、どの指示が適用され、矛盾がどう解決されるかを説明する、更新された「chain of command(指揮系統)」が組み込まれています。新設されたサブセクション「consider context carefully(文脈を慎重に考慮する)」では、会話、記憶、その他の文脈的な手がかりが、人々の意図や好みに対するモデルの理解にどう反映されるべきかを説明しています。さらに、人間の主体性を支える点と、関連する社会的規範に従う点についてのデフォルト設定を追加し、副作用の制御とその伝達に関する既存のガイダンスも拡充したとしています。これらの原則は、作業が他者に与える影響を考慮すること、ユーザーの能力を強化すること、ユーザーの目標や指示を尊重しながら信頼できる成果を生み出すことといった、残りの価値観がモデルの振る舞いに表れる、しばしば目立たないが重要な形を捉えたものだとしています。
一方で、Specの詳細なスタイル(文体)ガイダンスの大部分は廃止されるとしています。文体は、言語や文化の中で、また個人ごとに、人々が好むものに適応すべきであり、ユーザーからのフィードバックや文脈がその好みを示す根拠になるとしています。Specには、質問に客観的に取り組むといった、より強固なデフォルト設定は維持されるとしています。ユーザーや開発者は、モデルに特定の視点を取るよう明示的に求めることができますが、モデルは単に相手が聞きたいと思っていることから、その好みを推測すべきではないとしています。
最後に、モデルの利用事例や導入環境が広がっていることを反映し、Spec内でモデルを指す呼称を「the assistant」ではなく「GPT」とするようになったとしています。
今後の展望
OpenAIは、今回の更新は、モデルがより高性能になるにつれてSpecの背後にある価値観と論理をより明確にするための第一歩だとしています。Model Specは、OpenAIが目指しているモデルの振る舞いを記述したものであり、現在のモデルはまだそれを完全には反映していないとしています。研究、実世界での利用、フィードバックから学びながら、SpecとモデルのいずれもOpenAIは改善を続けるとしています。
OpenAIは、Specのどの部分が説得力があると感じるか、どこでそのバランスに同意できないか、何が見落とされている、あるいは不明確かについて意見を聞きたいとしています。価値観、トレードオフ、具体的な文言に関するフィードバックが改善に役立つとして、更新されたModel Specを読み、意見を共有するよう呼びかけています。