Trajectory evaluation

学習のねらい

前レッスンでは、LLM エージェントの「最終的な出力」を評価する LLM-as-Judge について学びました。 しかし、特に複雑なタスクをこなすエージェントの場合、最終出力だけでは、なぜその結果になったのか、途中でどのような判断ミスがあったのかが見えにくいことがあります。 そこで重要になるのが Trajectory evaluation (軌跡評価) です。 本レッスンでは、Trajectory evaluation の概念と、最終出力だけでなくエージェントの「思考経路」を評価することの重要性について学びます。

Trajectory evaluation とは

Trajectory evaluation とは、LLM エージェントがタスクを解決するまでの 思考プロセスや一連の行動 (軌跡、Trajectory) を評価する手法です。 これは、最終的な出力だけでなく、エージェントがどのようなツールを選択し、どのような情報を検索し、どのように推論を進めたか、といった中間ステップを詳細に記録・分析することで、エージェントの挙動を深く理解し、改善点を見つけることを目的としています。

なぜ最終出力だけでなく経路を見るのか

• 失敗の根本原因特定: 最終出力が誤っていたとしても、その原因が「ツールの誤った選択」なのか、「検索結果の解釈ミス」なのか、「推論の飛躍」なのかは、経路を見なければ分かりません。
• 効率性の評価: 同じ結果に到達したとしても、無駄なツール呼び出しが多かったり、不必要なループに陥ったりしていないか、経路を分析することで効率性を評価できます。
• 安全性と信頼性: エージェントが不適切なツールを使おうとしたり、機密情報にアクセスしようとしたりする挙動を、最終出力前に検知できます。
• モデルの挙動理解: エージェントがどのように問題を分解し、解決策を構築していくのかという「思考パターン」を理解するのに役立ちます。

Trajectory ログの要素

Trajectory ログには、エージェントの各ステップにおける以下の情報が含まれることが一般的です。

• ステップ番号: 処理の順序。
• エージェントの思考 (Thought): LLM が次に何をしようとしているか、なぜその行動を取るのかという推論。
• 行動 (Action): エージェントが実際に行った行動。
  • ツール選択: どの外部ツール (検索エンジン、計算機、API など) を使ったか。
  • ツール入力: ツールに与えた具体的な引数やクエリ。
• 観察 (Observation): ツール実行の結果や、外部からのフィードバック。
• 最終出力: タスクの最終的な回答。

これらのログは、LLM エージェントの内部で CoT (Chain-of-Thought、思考の連鎖) や ReAct (Reasoning and Acting) といったプロンプティング手法と組み合わせて生成されます。

ツール選択の妥当性

Trajectory evaluation において特に重要なのが、ツール選択の妥当性 の評価です。 エージェントが利用できるツールが複数ある場合、どのツールをどのタイミングで使うか、その選択がタスク解決に適切だったかを評価します。

• 良いツール選択: 必要な情報を得るために最適な検索ツールを選んだ、計算が必要な場面で計算ツールを使った、など。
• 悪いツール選択: 情報検索に不適切なツールを使った、ツールを呼び出す必要がないのに呼び出した、誤った引数でツールを呼び出した、など。

この評価は、エージェントのプロンプトや、ツール定義の改善に直結します。

ループ回数とコスト

エージェントがタスクを解決するまでに要した ループ回数 (思考・行動・観察のサイクル数) や、それに伴う ツール呼び出し回数 は、エージェントの効率性とコストに直結します。

• 無駄なループ: 同じ情報を何度も検索したり、不必要な試行錯誤を繰り返したりすると、解決までの時間が長くなり、API コストも増大します。
• 最適化の余地: 少ないループで効率的にタスクを解決できているか、あるいは特定のステップでループ回数が増えがちなパターンはないか、を分析します。

これらの情報は、エージェントのプロンプトを調整して、より効率的な思考を促したり、ツールの利用ポリシーを最適化したりするために活用できます。

まとめ

Trajectory evaluation は、LLM エージェントの最終出力だけでなく、その思考プロセスや行動の軌跡を詳細に分析することで、エージェントの挙動を深く理解し、根本的な改善点を特定するための不可欠な手法です。 特にツール選択の妥当性やループ回数、コストを評価することで、より賢く、効率的で、信頼性の高いエージェントを構築できるようになります。