面倒な安全確認は人よりAIが優秀？

AIが私たちの代わりにPCを操作する際、危険なシステム操作やファイルの削除をどう防ぐかが重要な課題です。そこで、危険を察知する関門自体をAIに任せる仕組みが登場しています。

AI開発支援ツール「Claude Code」では、実行しようとする操作をAIの分類器が自動で安全確認し、破壊的なコマンドを未然に防ぐ「auto mode」がデフォルトで標準化されました。開発段階の対照実験において、人間（プロのエンジニア）が危険なコマンドを含む確認画面を見せられた際、異常を察知して拒否できたのはわずか13.6％にとどまりました。さらに、確認作業が50回以上繰り返されると、人間の拒否率は約5％にまで低下し、確認ルールがほぼ形骸化してしまうことが分かりました。

一方で、AIのauto modeは同じコマンドの「89％」を自動的にブロックし、安全性を維持し続けました。人間は単調な繰り返しチェック作業に弱く、疲労によって見落とします。退屈な一次チェックをAIに任せ、人間が最終の判断責任を持つ「Human-in-the-Loop」の体制こそが、安全性を高める現実解です。