記事のサマリー（TL;DR）
- AIチャットボットが船舶の積荷目録を誤認識し、核兵器部品輸送という虚偽インテリジェンスを生成
- 軍用機が出撃した後に誤りが判明し、武装作戦が土壇場で中止。中国との衝突を間一髪で回避
- GovAIのJake Steckler氏は「AI廃止ではなくセーフガード強化が必要」と強調
軍・政府機関におけるAI活用が持つリスクと、日本の行政・防衛DXへの含意
米軍で今回問題になった構図は、「AI生成の要約を人間がそのまま上位階層へ伝達する」という情報フローの脆弱性です。特殊作戦コマンド（SOCOM）のアナリストがオープンソースデータと機密シグナルインテリジェンスをAIで統合しようとした際、LLM（大規模言語モデル）が積荷目録を誤って生成しました。さらにそのアナリストは同じツールを使って誤情報を「公式レポート風」に整形し、指揮系統全体へ配布しています。
日本においても、防衛省・自衛隊および中央省庁でのAI活用推進が加速しています。意思決定の速度を上げるためにLLMを業務フローへ組み込む場合、今回の事案は「ハルシネーションが上申されてから疑問を持たれるまでの遅延」がいかに危険かを示す具体例です。民間領域でも、kintone や Salesforce 上の業務データをAIで要約・判断補助する構成においては、生成結果に対して人間がファクトチェックするステップを明示的にワークフローへ組み込むことが、運用設計の基本原則となります。
詳細
何が起きたか
今春、米軍の軍用機がすでに出撃した後、米当局者が重大な事実を発見しました。武装作戦の根拠となったインテリジェンス情報が、AIチャットボットによって「ハルシネーション（幻覚）」として生成された虚偽の内容だったのです。CNNが金曜日に報じたこの出来事は、作戦が直前で中止されることで中国との潜在的な衝突を辛うじて回避したものです。
そのインテリジェンスレポートは、イランとの戦争中に流通したものでした。内容は「当該中国船舶が核兵器プログラム用の部品を輸送している」というものです。
誤情報はどのように広がったか
虚偽のインテリジェンスは、特殊作戦コマンド（SOCOM: Special Operations Command）のアナリストがAIチャットボットを用いて、オープンソースデータと機密シグナルインテリジェンスを統合しようとしたことに端を発します。チャットボットは船舶の積荷目録を誤って識別しました。
さらにそのアナリストは同じツールを2回目に使用し、誤った調査結果を公式文書のような体裁のサマリーに整形。それが指揮系統全体に配布されました。
AIの速度とハルシネーションのトレードオフ
この事案は、米軍がAIを積極的に導入して意思決定を加速し、中国に対する優位性を維持しようとしている最中に起きています。米国防総省（Pentagon）はAIについて、「キルチェーン（kill chain）を高速化し、指揮官が適切なタイミングで対応できるようにする上で大きなアドバンテージをもたらす」と説明しています。
しかし、AIを魅力的にしているその速度こそが、人間による十分な監視なしにハルシネーションを伝播させる要因にもなり得ます。
専門家の見解：廃止ではなくセーフガードの強化を
GovAI（ガバナンス・AI研究所）のリサーチスカラーで元米陸軍将校のJake Steckler氏は、TechCrunchへの書面回答でこう述べています。
「LLM（大規模言語モデル）に内在する不確実性を服務員が理解することは重要です。しかし特に、ターゲティング・インテリジェンス分析・作戦計画など、武力行使につながりうる決定においては一層重大です。それらの決定には生死に関わる結果が伴います。」
同氏はそれでも、今回の事案はAIの活用を避ける理由ではなく、セーフガードを強化するための契機と捉えるべきだと強調します。
「これらのツールは、適切な文脈と適切なセーフガードがあれば有用です。しかし採用速度を最優先にすれば、服務員がシステムへの信頼を失うような事態を招くだけです。それは最終的に導入をむしろ遅らせることになるでしょう。」