Java移行で測るAIの現在地

大企業において、レガシーなJavaアプリケーションをSpringやJakarta EE、Quarkusなどの新しいフレームワークへ移行（モダナイゼーション）する作業は、極めて高コストなエンジニアリング課題です。この実務ITタスクに対するAIの能力を厳格に測るために開発されたのが、IBM Researchなどが公開したオープン評価基盤「ScarfBench」です。

ScarfBenchは、単に生成されたコードを比較するだけの従来ベンチマークとは異なり、移行後のアプリが「実際にビルドでき、1,331件にのぼる専門家執筆のテストによる動作検証をパスするか」を自動評価します。評価結果は衝撃的でした。最先端のコーディングエージェントであっても、挙動レベルでの成功率は「10%未満」にとどまりました。

部分的なコード変換は容易ですが、データベース接続や依存関係の解決といった、アプリケーション全体の「複雑な依存の網」を解きほぐすタスクにおいて、現在のAIが極めて苦戦している現状が浮き彫りになっています。実務への適用にあたっては、こうした限界を正しく認識した設計が必要です。

---