AIエージェントの暴走と乗っ取り

自律的に動くAIエージェントは非常に強力な一方で、特有のセキュリティホールが存在します。

その代表例が、Microsoft 365 Copilotで発見された脆弱性「EchoLeak」です [12, 13]。これは、ハッカーが細工したメールを送りつけるだけで、ユーザーが何一つ操作しなくても、Copilotが勝手に機密データを外部に送信してしまうゼロクリック攻撃です [12, 14]。この脆弱性の危険度を示すCVSSスコアは「9.3」と、極めて深刻なレベルと評価されました [13]。

また別の事例では、Meta社のAIサポートボットが悪用され、Instagramの著名アカウントが乗っ取られる事件も起きています [13]。攻撃者がAIに対して「新しいメールアドレスを紐づけてリセットしてほしい」と対話で依頼したところ、本人確認を怠ったAIがそのまま処理を実行してしまいました [13]。

エージェントを自社システムに連携させる際は、外部からの悪意ある指示（プロンプトインジェクション）を防ぐフィルタリングを行い、重要操作は必ず人間の承認を挟む設計が必須です [15, 16]。