日本語テスト自動化の成果をどう説明する？KPI設計、効果測定(ROI)のコツを解説
こんにちは。MagicPod カスタマーサクセスのIshiiです。
私はテスト自動化ツールであるMagicPodを導入しているユーザー様とお話しする機会が多いのですが、その際以下のような質問をよくいただきます。
- テスト自動化の成果はどう測るべき？
- 「テスト自動化が成功している」状態とは？
- テスト自動化プロジェクトでのおすすめのKGI・KPI設計は？
この記事ではテスト自動化をこれから始める方向けに、効果的な成果測定方法と目標設定について詳しく解説します。
テスト自動化の成果はどう測るべき？
「感覚としては成果を感じているものの、社内に伝えるためには何らか数字でみせる必要がある。何をどう数字でみせるべきか...」とテスト自動化を導入した方からご相談をいただくことがあります。
そんなお悩みに応えるべく、ここでは3つのアイデアを共有します。
開発生産性の向上
テスト自動化の最も重要な成果は、開発チーム全体の生産性向上です。
Four Keysなどの開発生産性メトリクス
Google社のDevOpsに関する調査チームであるDORAが提唱したFour Keys（デプロイ頻度、変更のリードタイム、変更失敗率、平均復旧時間）を活用することで、テスト自動化による開発プロセス全体への影響を定量的に評価できます。
MagicPodのようなテスト実行回数が無制限であるツールを使えば、GitHub ActionsなどのCI/CDパイプラインに組み込んで継続的にテストを実行し、品質を担保しながら開発サイクルを高速化できます。
Findy Team+などの開発生産性を可視化するツールを使用することで、テスト自動化導入前後の変化を定量的に把握できます。テスト自動化導入前後のメトリクスに良好な変化がある場合はテスト自動化の大きな成果としてアピールできますね👍
シフトレフトの実現
開発プロセスの早い段階でのテスト実施（いわゆるシフトレフト）により、不具合の早期発見と修正コストの削減が可能になります。これにより、リリース直前の慌ただしいテスト期間を短縮し、より計画的な開発が可能となります。
テスト自動化の成果は下記のような数字で表すことができるでしょう。
- 毎日の開発環境でのテスト実行により不具合を早期発見できるようになり、不具合修正にかかる時間がX時間削減された
- リリース直前に不具合が見つかり、リリース延期になることがX回あったが、その回数が0回になった
- 今までリリース直前のテスト期間にX時間残業していたが、平準化により残業時間を削減できた（これが一番嬉しいかもですね^^）
コスト削減
手動テストにかかるコストに基づき、自動化により削減できる工数を金額換算することで、投資対効果を明確にできます。
例えばリリース前のQAテストを例にすると、以下のようにコスト削減効果を表すことができます。
- 新規開発部分は手動テスト、既存部分のデグレ確認を自動化
- [月4回テスト]x[1回8時間]x[人件費4万円/日]x[1年] = 192万円/年のコスト削減
- リリースを週1回に短縮し、タイムリーな改善の市場投入が可能に
コスト削減はROI(投資収益率)を算出しやすく、一番魅力的に映る指標とはなりますが注意が必要です⚠️
E2Eテストは作成して終わりではなく、アプリのUIアップデートの度にメンテナンスが必要となります。そのためコスト計算時には、メンテナンスにかかる時間についても考慮にいれましょう。
将来的には生成AIの発展によりメンテナンス負担を軽減できる未来が訪れるかもしれませんが、現状ではコスト削減だけをE2Eテストの成果とすることは避けることをおすすめしています。
不具合検出実績
不具合（デグレ）は見つからないことが一番望ましくはありますが、手動テストでは発見できなかった不具合を見つけられたというのはテスト自動化の成果となるでしょう。
記録を残しましょう
MagicPodではテスト結果にメモを残すことができます📝
実際に不具合が見つかったテストにはメモを残しておくことをお勧めします。
テスト管理ツールとの連携
TestRail、Qase、QualityForwardなどのテスト管理ツールを用いることで、不具合検出の状況を可視化しているユーザー様もいらっしゃいます。手動テストとあわせて管理ができるのでテスト管理ツールとの連携はとってもおすすめです🙌
例えばTestRailでは、MagicPodのテスト結果をこのようにWeb APIを介して登録することができます。
（参考ヘルプページ：TestRailとの連携 ）
テスト自動化プロジェクトでのおすすめの目標設定は？
MagicPodのようなテスト自動化ツールを導入した場合、多くの会社では半年から1年かけて「テスト自動化プロジェクト」のような形で社内展開を進めることが多いかと思います。
その際にプロジェクトのKPI（重要業績評価指標）として、以下のような定量的な目標設定をお勧めします。
テストケース自動化率
半年間で手動テストケース（シナリオ）の80%を自動化しました、といったテストケース自動化率は分かりやすい指標となります。最初の1ヶ月で10%、次の3ヶ月で50%、などマイルストーンとしても便利ですね📈
▼お客様事例
LINEヤフーコミュニケーションズ株式会社様：リグレッションテストを16時間→2時間に短縮、テストの98%を自動化したチームも。２度目のテスト自動化で成功した理由。
⚠️注意点として、手動で行っていたテストシナリオをそのまま自動化するのは避けるべきアンチパターンであると言われています。以下の観点で、適切な自動化対象を選定しましょう：
- 「何を検証するのか」が明確なシナリオになっているか
- メンテナンスしやすい粒度であるか
- 自動で繰り返し実行可能なシナリオになっているか
テストカバレッジ
主要なユーザーストーリーの80%を自動化しました、といったテストカバレッジ（網羅率）は分かりやすい指標となります。これもテストケース自動化率同様、マイルストーンとしても便利ですね。
▼お客様事例
株式会社 食文化様：ずっと心に温めていたテスト自動化。「おまかせプラン」を利用した導入でカバー率90%以上、大幅なコスト削減を実現
実践例
例えばECサイトであれば、以下のようなユーザーストーリーをまず自動化対象にするとGoodです👍
- 新規ユーザーが会員登録し、ログインができること
- 既存のお客様が商品をカート追加し、購入手続きができること
- 管理者が商品登録し、在庫を追加できること
テスト自動化ができるメンバー数
「QAチームの半数のメンバーが自動テストを作成できる」といった人数にフォーカスした指標もおすすめです。継続的なテスト自動化体制の構築のために、個人ではなく、チームとして使えている状態がベストです👍
毎月勉強会を開催する、毎週ペアプログラミング形式でテストケース作成を行う場を設ける、といった仕組みを構築しているユーザー様もいらっしゃいます。
▼お客様事例
セーフィー株式会社様：MagicPodの導入でリグレッションテストの実施工数を約20〜30%削減。勉強会とペアプロを通じてチーム全体のスキル向上も実現
チームで運用する際のコツはこちらのヘルプページに詳しく書いていますのでぜひご参照ください。
参考ヘルプページ：複数人で使用する際の運用ルールについて
MagicPodのヘルススコア
MagicPodをお使いのユーザー様については、ヘルススコアを指標にすることをおすすめします。具体的には100点満点中80点以上（グリーン🟢）な状態をキープできている=自動テスト運用が健全にできている証となります。
MagicPodのヘルススコアとは、長年テスト自動化に携わってきた経験をふまえ、成功しているプロジェクトを徹底分析して作成したメトリクスです。ヘルススコアの点数内訳は以下の通りです。
手前味噌ですが、絶妙な点数配分となっておりまして100点を取るのは結構大変です。
「やっと100点取れました！」とご報告くださるユーザー様もいらっしゃいます。そのような報告がある度、MagicPodメンバー全員とても嬉しい気持ちになっています☺️
ゲーミフィケーション的に100点を目標に活動すると、チームとして活動が盛り上がり、テスト自動化プロジェクトが前に進んでいくこと間違いなしです💯
ヘルススコアの情報はMagicPod WebAPIで取得することもできます。オリジナルのダッシュボードを作成したり、SlackやTeamsに自動でスコアを毎週通知しているユーザー様も多くいらっしゃいます。
ヘルススコアを活用しているユーザー様の事例も読んでいただけると嬉しいです！
▼お客様事例
KIYOラーニング株式会社様：エンジニア全員がMagicPodでテストを実行。開発全体の理解を得ながら効率化と品質保証の両方を実現できた秘訣とは
最後に
テスト自動化の成果測定については、コスト削減だけでなく、開発生産性の向上や品質向上、チームのスキル向上なども含めて評価することがポイントです。
また、目標設定においては、テストケース自動化率やヘルススコアなど定量的で測定可能な指標を設定することで、継続的な改善を図ることができます。実際の現場では様々な課題に直面することと思いますが、この記事が、皆様のプロジェクト推進の一助となれば嬉しいです☺️
MagicPodはノーコードでE2Eテスト自動化ができる、実行回数・ユーザー数無制限の予算管理がしやすいツールです。目標設定に便利なヘルススコア機能も標準搭載です💯
もしMagicPodが気になった方は、ぜひお気軽にお問い合わせください！
https://magicpod.com/consulting/
