プロンプトインジェクションと訓練境界

自律型エージェント（物理AIやRAGなど）が外部ツールや共有ストレージ（Hugging Face Storage Bucketsなど）を自律操作する際、システムレベルでの堅牢な境界設計が不可欠です。信頼できない外部データを入力として受け取ると、悪意ある命令が混入する「プロンプトインジェクション」のリスクが発生し、意図しない書き込みや安全性の低いツール実行を引き起こす恐れがあります。

これを防ぐためには、エージェントへ与えるツールの権限を厳密に制限し、信頼できるソースのみを接続する必要があります。また、「訓練データは重要な信頼境界（Trust boundary）」です。エージェントがデータを書き込めるバケットと、ポリシー学習時に読み込むデータを物理的に分離し、全ての試行プロセスを個別のIDで管理・追跡できる配管が求められます。モデルのロード時にも、任意のコード実行リスクを避けるため、pickle形式を排して「SafeTensors形式」のモデル重みに限定し、未検証の外部コード実行をデフォルトで遮断することが強く推奨されます。

---