システム全体を測るエージェント評価

AIエージェントを実業務にデプロイするということは、単に「どのモデルを使うか」を選ぶことではありません。エージェントがどのようなツールを使えるか、どう計画を立てるか、失敗からどう回復するかという「システム全体」を選択することを意味します[5]。

このシステム全体の汎用性とコストを可視化するため、IBMなどは「The Open Agent Leaderboard」を公開しました[6]。この評価基盤では、プログラミング（SWE-Bench Verified）、ウェブ調査（BrowseComp+）、カスタマーサポート（tau2-Bench）など、6つの異なるベンチマークを用いて、多様なタスクへの適応力を測定します[7]。

同じAIモデルを使用しても、組み合わせるエージェントの設計によって成功率や実行コストは大きく変動します[8]。導入担当者は、こうしたリーダーボードを活用し、自社の要件に対して最も費用対効果の高い「エージェントとモデルの組み合わせ」を見極める必要があります[8, 9]。