記事のサマリー（TL;DR）
- テネシー州の10代3名による xAI（Grok）への訴訟に、義父に被害を受けた女性（Jane Doe 4）が参加
- 義父は Grok を使い11歳時の写真を加工し、7,000枚超の性的画像を生成したと女性が主張
- xAI は現在 SpaceX の傘下にあり、Grok による明示的画像生成に対する基本的な安全対策を怠ったと訴えられている
生成AIの安全設計を問う日本の事業者・プラットフォーム運営者への影響
AI 生成画像をめぐる法的リスクは、米国だけの問題ではありません。日本でも2023年に「AV 被害防止・救済法」が施行されており、2024年以降は不正な性的ディープフェイクに対する法整備の議論が急速に進んでいます。本件のように一般利用者が手軽にアクセスできる AI チャットボット（LLM）が CSAM（Child Sexual Abuse Material：児童性的虐待素材）の生成に悪用されるケースは、国内の AI サービス事業者・プラットフォーム運営者にとっても他人事ではありません。
画像生成 AI や LLM を自社サービスに組み込む際は、コンテンツフィルタリングポリシーの整備・出力モニタリングの仕組みの構築が不可欠です。米国では本件のように「基本的な予防措置を講じなかった」こと自体が訴訟原因となっており、日本でも同様の法的責任論が形成されつつあります。OpenAI・Anthropic・Google 等の主要モデルプロバイダーは利用規約でこうした用途を明示的に禁止し、技術的な安全装置（Safety filters）を設けていますが、それだけで十分かどうかが問われています。AI ガバナンス体制の整備とともに、利用規約・監視体制を含む包括的な安全対策の見直しが求められる局面です。
詳細
訴訟の背景
ワシントン・ポストの報道によると、Jane Doe 4 と名乗る女性は、テネシー州の10代3名がイーロン・マスク（Elon Musk）氏の xAI 社を相手取って起こした訴訟に加わりました。女性は、義父が xAI のチャットボット「Grok」を使い、彼女が11歳のときに撮影された写真を加工して7,000枚を超える性的画像を生成したと主張しています。
被害の深刻さと義父のその後
女性は「こうしたツールへの無制限のアクセスがあまりにも速く拡散している。日常生活が児童性的虐待に変えられている」とコメントしています。また、当該画像が法執行機関の家宅捜索によって発見された2日後、義父は自殺によって死亡しているのが発見されたとも述べています。
xAI（現・SpaceX 傘下）への主な主張
当初から訴訟を起こしていた10代の原告らは、xAI が以下の点で基本的な安全対策を怠ったと主張しています。
- 未成年者を含む実在の人物の性的画像を Grok が生成しないようにするための予防措置が講じられていなかった
- 訴訟では集団訴訟（class action）としての認定も求めている
なお、xAI は2025年時点で SpaceX の一部となっており、Grok が生成した性的画像が数百万件規模で X（旧 Twitter）に流出した問題も今年前半に報じられています。
Grok をめぐる安全性の問題
Grok が生成した性的な画像が大量に X 上に拡散した事案は、AI コンテンツ安全性（AI content safety）の議論を再燃させました。生成 AI の出力物を使った悪用事例が増加する中、テクノロジー企業が「ガードレール（安全装置）」をどこまで設けるべきかという論点は、規制当局・法曹界・AI 開発者の間でいまだ決着を見ていません。
TechCrunch は xAI にコメントを求めており、回答を待っている状況です。
危機的状況にある方・自殺を考えている方へ（日本国内）： よりそいホットライン 0120-279-338（24時間）または いのちの電話 0120-783-556 にご連絡ください。