AI研修 大企業実務者向け / 第7章: AIエージェントのセキュリティと企業ガバナンス
予算コントロールによるエージェント暴走の防止
無料公開レッスン / 読了目安 2 分
自律型エージェントの運用において、最も発生しやすいガバナンス上の事故が、エージェントが自己修復ループやエラー回復ステップの中で終わりのない無限ループに陥り、ミリ秒単位で膨大なAPIトークンを消費し続ける「暴走タスク」です。これは予期せぬ多額のAPI利用コストを発生させる重大な企業リスクです。
このインフラコスト問題に対処するため、Gemini APIの管理型エージェント設定(agent_config)では、1回のアクティブなタスクに消費できる最大合計トークン数を制限する max_total_tokens という予算制限オプションが追加されました。この値には、インプットやアウトプットだけでなく、モデル内部の思考トークン(Thinking tokens)も含まれます。
エージェントの動作がこの制限に達した瞬間、処理ループは安全に一時停止(Pause)し、システムの環境状態(ステート)を完全に維持したまま呼び出し元に「incomplete(未完了)」というステータスを返します。これにより、実務者はステートを保持したまま、人間による確認と追加予算の承認(Human-in-the-loop)を経て安全に作業を継続させることができます。

関連動画
OpenAIが最新モデルのトレーニングを2週間停止、安全確認を優先 #Shorts
【速報解説】アンソロピックAI停止は「歴史的転換点」/米政府の前例が変えるAIの未来/G7はAI規制の土壌となるか/日本が備えるべきプランB