業界特化タスクとEVA-Bench 2.0

エージェントAIの失敗は、特定の業務ドメインに強く依存する傾向があります。例えば、航空券の予約変更で確認コードを完璧に処理できる音声AIが、複雑な人事システム（HR）のポリシー案内では全く機能しないという事態が起こり得ます[13]。

こうした課題に対応するため、音声エージェントの評価基盤「EVA-Bench 2.0」が公開されました。このデータセットは、航空（CSM）、IT（ITSM）、ヘルスケア人事（HRSD）の3つのドメインにわたり、121のツールを用いた213のシナリオを網羅しています[13]。さらに、英語だけでなく多様な言語での運用を見据えた多言語サポートの拡張も進められています[14]。

大企業がAIを顧客対応や社内ヘルプデスクに導入する際は、汎用的な性能テストだけでなく、こうした業界特有の語彙や複雑なワークフローを模した厳格なシナリオ評価を導入前に実施し、システムの限界を正確に把握することが不可欠です[15]。