Mutation testing — テストの強度を測る

学習のねらい

AI が生成したコードはテストがパスしても、本当にそのテストが「十分な品質」を保証しているのか、疑問に思うことがあります。 テストコードが不十分だと、バグが潜んでいても検出できない「偽の安心感」を与えてしまうかもしれません。 この「テストの品質」を客観的に評価する手法の一つが Mutation Testing (ミューテーションテスト) です。 本レッスンでは、ミューテーションテストの概念と、Python の mutmut ライブラリを使ってテストの強度を測る方法を学びましょう。

Mutation Testing (ミューテーションテスト) とは

ミューテーションテストは、コードに意図的に小さな変更(これを ミューテーション と呼びます)を加えて、それが既存のテストによって「検出されるか(テストが失敗するか)」を検証する手法です。

例えば、a + b というコードがあった場合、以下のようなミューテーションが考えられます。

• a - b (演算子を変更)
• a * b (演算子を変更)
• a + c (変数を変更)

ミューテーションテストツールは、これらの変更を自動的にコードに適用し、そのたびにテストを実行します。

• ミュータントが「殺される (killed)」: 変更されたコード(ミュータント)でテストを実行した結果、テストが失敗した場合。これは「テストがその変更を検出できた」ことを意味し、テストの品質が高いと評価されます。
• ミュータントが「生き残る (survived)」: 変更されたコード(ミュータント)でテストを実行した結果、テストが成功した場合。これは「テストがその変更を検出できなかった」ことを意味し、テストが不十分である可能性を示唆します。

最終的に、「殺されたミュータントの数 / 生成されたミュータントの総数」で計算される ミューテーションスコア を用いて、テストの強度を評価します。スコアが高いほど、テストの品質が高いと言えます。

mutmut / Stryker とは

• mutmut (Python): Python コード用のミューテーションテストツールです。設定ファイル (pyproject.toml など) に簡単な設定を記述するだけで利用できます。
• Stryker (JavaScript/TypeScript): JavaScript/TypeScript 用のミューテーションテストツールです。同様に設定ファイルでミューテーション戦略や対象ファイルを指定します。

これらのツールは、自動で様々な種類のミューテーション(演算子の変更、リテラルの変更、条件式の反転など)を生成し、テストを実行します。 ミューテーションテストは CPU 負荷が高く、テスト実行に時間がかかる傾向があるため、CI/CD パイプラインの最終段階や定期的な実行に適しています。

AI 生成テストの脆弱性

AI はテストコードを生成することもできますが、そのテストが常に網羅的で堅牢であるとは限りません。 特に、AI が生成したテストは、人間が手作業で書いたテストに比べて、以下のような脆弱性を持つことがあります。

• 自明なテスト (Trivial Test): AI が生成したテストが、常にパスするような自明なものだったり、コードの重要な部分をカバーしていなかったりする可能性があります。
• 特定のパターンへの偏り: AI が学習データに偏りがある場合、生成されるテストケースも特定のパターンに偏り、多様なエッジケースを見逃すことがあります。

ミューテーションテストは、AI が生成したテストの「穴」を見つけ出すのに非常に効果的です。 もし AI が生成したテストのミューテーションスコアが低い場合、それはテストコード自体が改善の余地があることを示しています。

閾値設定 (Threshold Setting)

ミューテーションスコアは、組織やプロジェクトの品質基準に応じて 閾値 (Threshold) を設定することが推奨されます。

• 「ミューテーションスコア 70% 未満のコードはマージを許可しない」
• 「主要なモジュールは 80% 以上を目標とする」

といったルールを設定することで、テストの品質を一定レベルに保つことができます。 ただし、ミューテーションテストは実行コストが高い場合があるため、すべてのコードに高い閾値を設けるのではなく、ビジネスロジックの核となる重要な部分から適用していくのが現実的です。

まとめ

ミューテーションテストは、AI 生成コードとそのテストの「本当の品質」を測るための強力な診断ツールです。 コードに意図的にバグを埋め込み、既存のテストがそれを検出できるかを確認することで、テストの強度を客観的に評価できます。 mutmut などのツールを活用し、AI が生成したコードとテストの信頼性を高めましょう。