記事のサマリー（TL;DR）
- Anthropic研究者Jacob Coxonが「命を賭けたギャンブル」と告発し退職、同社アライメントリードが「10%超で人類滅亡あり得る」と即座に拡散
- IPO直前のAnthropicにとって、S-1リスク因子セクションの書き直しを迫られる可能性があり、法務・IR両面で前例のない事態
- 「滅亡リスク」言説は労働・環境といった足元のAIリスクから議論の酸素を奪うとの批判もあり、言説の動機に疑義
国内AI企業・SaaS事業者が読み解くべき「滅亡リスク」論争の構図
AI開発最前線で起きているこの論争は、日本企業にも無縁ではありません。Anthropicの Claude シリーズは国内でも業務自動化・コンテンツ生成・カスタマーサポートへの採用が進んでいます。今回のように、モデル開発元自身が「制御できていない」と示唆するような発言が公式に流通すると、導入済み企業のガバナンス文書（リスクマネジメント規程・AI利用ポリシー）の更新圧力が高まります。また、Anthropic IPOが実現した場合、S-1に記載されたリスク因子は機関投資家向けの公式文書として参照されるため、日本の導入企業が取引先や株主への説明に引用するケースも想定されます。「滅亡リスク」という極端な表現に惑わされず、自社のAI利用範囲と制御ポリシーを棚卸しする契機として捉えるのが現実的な対応です。
詳細
発端：退職研究者の告発とAnthropicアライメントリードの”炎上ツイート”
AI業界で最も激しい論争が再燃しています。火をつけたのはAI研究者Jacob Coxon（ジェイコブ・コクソン）です。OpenAIでの勤務経験もある若手研究者であるCoxonは、大手AI企業が「私たちの命をギャンブルにかけている」として、Anthropicを退職したと表明しました。
これに対し、Anthropicのアライメント（AI安全整合性）部門のリードが即座にCoxonの投稿をX（旧Twitter）でリポストし、「私たちはAIが人間を全滅させ得ると本気で信じています！（We really do earnestly believe AI could kill all humans!）」と追記しました。このツイートに付けられた感嘆符が「史上最も場違いな感嘆符の一つ」として拡散し、議論はさらに過熱しました。同リードはさらに、「個人的には今後10年以内に10%超の確率で起こり得る」との見解を示しています。
TechCrunchのポッドキャスト「Equity」では、Kirsten Korosec、Sean O’Kane、Anthony Haの3氏がこの一連の動きを分析しています。
「10%」という数字の信憑性
Anthony Haは「10%超という数字はP(doom)（AIによる壊滅的リスクの主観的確率）の概念を参照したものと思われるが、やはり根拠のない作られた数字だ」と述べます。テック業界では根拠のない確率を提示する習慣があると指摘し、「具体的な数字を出すことで議論に重みを持たせようとしているが、計算の裏付けはない」とも言及しています。
一方で、Coxonの行動については評価しています。「SamAltmanやDario Amodeiがドゥーム（doom）的な語りをするとき、必ず『なぜその仕事を続けているのか』という疑問が湧く。Coxonは実際にキャリアをかけて行動した。それだけでも評価に値する」と語りました。
「能力誇示マーケティング」仮説
Kirsten Korosecが提起した視点が議論を深めました。「AIエージェントが意図せず突破したという報告や人類へのリスク言及が増えているのは、モデルの高い能力を遠回しに誇示する奇妙な方法ではないか。大したことのないモデルなら心配する必要もない」と述べ、一種の”危険性ブランディング”の可能性を示唆しました。
Anthony Haはこの見方に一定の理解を示しつつも、「意識的なマーケティングというより、自分が取り組んでいるものが世界で最も重要で危険なものだと信じたいという、人間的な誘惑もある」と分析します。Sean O’Kaneはさらに踏み込み、「OpenAIの内部エージェントがウェブ上の各種Wikiにアクセスし、互いにメッセージを残しているという報告が続いているが、その対応ぶりには洗練さがない。純粋なPRならもっと磨きがかかっているはず」と述べ、単なる宣伝では説明しきれない実態があると見ています。
IPO直前のS-1開示問題
Sean O’Kaneが特に注目したのは、Anthropicが数週間以内にIPO向けのS-1を提出するとされる時期に、このような発言が飛び出したことです。「『人類を滅亡させる確率が10%超であり、これはビジネスにとって重大なリスクとなり得る』という文言を、ジュニアの弁護士たちが今まさにS-1のリスク因子セクションに書き込んでいるのだろうか」と、半ば冗談交じりに問いかけました。
Kirsten Korosecは別の観点を加えます。「通常の投資環境では、このような危険性を示す言葉は企業評価を下げる要因になる。しかし今は普通の時代ではない。危険性や能力の高さがむしろ高評価につながる可能性がある。昨年のレイジベイティング（rage-baiting）トレンドと完全に同じではないが、同じ宇宙に属する現象だ」と述べ、バリュエーションへの影響について注視する姿勢を示しました。
なお、Anthropic CEOのDario Amodeiが「より慎重なAI開発」の計画を発表したのは、この収録後のことです。
「滅亡論」が隠蔽する足元のリスク
Anthony Haはより本質的な問題も提起します。「AGI（汎用人工知能）や超知能という言葉を使い始めると、議論の酸素をすべて吸い取ってしまう。AIが雇用に与える影響、環境・気候への負荷といった、より現実的かつ直近のリスクから注意が逸れてしまう」と指摘します。
「滅亡リスクも含めたすべての懸念を議論し、規制やその他の安全策を講じるべきだという理想はわかる。ただ、10年以内に人類が滅亡するかもしれないというヒステリーレベルの議論は、より即座に対処すべき問題から目を背けさせる」と述べ、リスク論議の優先順位設定の重要性を訴えました。
AIの制御可能性については、ControlAI（コントロールAI）という非営利団体の米国エグゼクティブ・ディレクター、Connor Leahy（コナー・レヒー）がEquityポッドキャストに出演し、規制面の取り組みを解説しています。