お客様の事業に大きな影響を与えるインシデントを抑制！MagicPodでリグレッションテスト自動化と心理的安全性の高い開発体制を構築

株式会社UPSIDER

ブラウザテスト

MagicPod代表伊藤が、株式会社UPSIDER様に、MagicPod選定の決め手や導入時から現在までの活用状況についてインタビューしました。

株式会社UPSIDER

「挑戦者を支える世界的な金融プラットフォームを創る」をミッションに、法人カード「UPSIDER」、請求書カード払いサービス「支払い.com」、AIチャット型の業務ツール「UPSIDER Coworker」、グロースステージのスタートアップに特化したデットファンド「UPSIDER BLUE DREAM Fund」などを開発・提供しています。

POINT

インシデントを防ぐためのリグレッションテスト自動化が課題に
実行回数無制限で心理的な負担なくテストできるMagicPodを選定
毎日テストを定期実行し、データ不整合や設定ミスを早期発見
リリース前の品質を大幅に改善し、心理的安全性の高い開発体制を実現
MagicPodとPlaywrightを併用し、テスト効率化とリリースフロー改善へ

左から
・Kitazawaさん
・Eriさん

Eriさん（以下、Eri）：リグレッションテストの自動化推進を担当しているEriです。UPSIDERには2024年6月にQAエンジニアとしてジョインしました。新卒でSIerにソフトウェアエンジニアとして入社し、CGや医療機器の開発に携わった後に半導体業界を経験し、再びIT業界に戻ってきてQAエンジニアになりました。

Kitazawaさん（以下、Kitazawa）：私は主にインシデント発生後のリグレッションテスト自動化を担当しています。具体的には、EriさんのサポートとしてMagicPodを使ったテストケースの作成や、インシデントに関連する機能のテスト自動化を行っています。これまで8年ほどQAをしてきまして、2年前ぐらいから自動化にも携わっています。MagicPodは前職でも利用していました。

Naokiさん（以下、Naoki）：QAチームのマネージャーをしているNaokiです。私はSESのテスト会社からQAエンジニアとしてのキャリアをスタートし、フリーランスのQAエンジニアとして独立した後にFintech企業やECサイトでQAに携わりました。UPSIDERには2023年10月に業務委託としてジョインし、2024年2月に入社しました。

伊藤（MagicPod代表）：皆さん、QAエンジニアとして豊富な経験をお持ちなのですね。QAチームは現在どのような体制になっているのでしょうか？

Eri：現在、正社員がマネージャーを含めて6名、アルバイトの方が3名、業務委託の方が2名という体制です。弊社のQAチームは開発の中でも共通基盤の組織に所属していますが、プロダクト開発においては各スクラムチームにQAメンバーが帯同する形で開発の初期段階から関与しています。

開発チームでは、2週間のスプリントでアジャイル開発を行っており、リリースの頻度もこれに合わせています。QAは、リファインメントやプランニングといった上流工程から参加し、リリースに向けた仕様の確認や調整を行います。

Kitazawa：開発チームとの振り返りも行っていまして、例えばメインのプロダクトチームだとリリース後の木曜日に1時間、開発とQAで振り返りをしています。

伊藤：開発チームと密に連携しながらQA活動を進められているのですね。

Eri：開発プロセスに初期から関わることで仕様の曖昧な点や考慮漏れに早い段階で気づけるため、テストケースに対する気づきも多くなります。その結果、「ここまでテストすべきか」「このテストは不要ではないか」といった、テストの必要性や範囲に関する議論を開発チーム全体で行うことができ、より効率的かつ効果的なテストを実施できています。

Naoki：ありがたいことに、開発チーム全体が高い品質意識を持ってくれているおかげで、QAチームへの期待値も高いと感じています。各メンバーが少しでも「これはまずい」と感じたらリリースをストップできるような体制にさせてもらっています。

MagicPod導入の経緯と決め手

Kitazawa：MagicPod導入前はリグレッションテストが定期的に実施されておらず、インシデントが発生してから対応する、という状況でした。また、リリース前に既存機能の動作を十分に確認する体制が整っておらず、リリースに対して心理的な不安がありました。実はMagicPod導入以前に、別の自動テストツールが導入されていたのですが、そのツールはメンテナンスされず、形骸化していました。

その中で、「リグレッションテストをしっかりやろう」「リリース前に実施しよう」という話になり、QAチームのメンバーだけでなく開発チームのメンバーも巻き込み、リグレッションテストを一斉に作り始めました。

伊藤：以前導入されていた自動テストツールが形骸化してしまった原因は何だったのでしょうか？

Naoki：いくつかの要因が重なった結果だと考えています。QAチームの体制が組織の変化に応じて見直されることがあり、その過程で自動テストの運用も十分に活用されない時期があったようです。私がジョインした時点でもツールは残っていましたが、実行回数が従量課金制だったこともあり、ほとんど活用されていない状態でした。

Kitazawa：根本的な問題として、開発とQAの品質に対する意識付けがまだまだ弱かったということもあったと思います。しかし、私たちが提供している決済サービスが正常に動作しなければ、お客様に与える影響は計り知れません。

例えば、UPSIDERには日次の利用限度額を設定できる機能がありますが、この上限を超えるような決済が誤って処理されてしまうと、お客様は想定外の請求を受けることになります。そういったことが起こればお客様からの信用を失ってしまいます。安心してサービスをご利用いただけるよう、高い品質を維持するため自動化を進めました。

自動化とリグレッションテストの取り組みは、ほぼ同時に始めました。私は、その中でも特に重要な部分、例えばカードの発行といった機能についてMagicPodで自動化を進めていきました。

伊藤：新しい自動テストツールを選定するにあたって、重視したポイントは何でしたか？

Naoki：以前のツールをそのまま使うことも検討しましたが、テスト実行回数が従量課金制では今後テストケースが増えていくにつれてコストが増大してしまう可能性があったので、料金プランには注意しました。

最終的にMagicPodを選んだ決め手は、実行回数が定額制であり、GUIベースで誰でも簡単に使えるツールだったことです。実行回数を気にせずテストを回せる、というのが大きなポイントでした。私自身、以前MagicPodを使っていたこともあり、その点も安心材料になりました。

MagicPodの活用状況

Kitazawa：導入当初は3週間という極めてタイトなスケジュールで、必死にテストケースを作成しました。MagicPodは前職でも利用していましたが、直感的な操作が可能だったため短期間で何とかリリースに間に合わせることができました。これは他のツールでは難しかったと感じています。高速でトライ＆エラーを繰り返しながらテストケースを作成・改善することで、徐々にスピードと精度を上げることができました。

Eri：現在は、それまで手動で行っていた22件のリグレッションテストを自動化して、毎日深夜2時半に定期実行しています。テスト結果はQAチーム専用のSlackチャンネルにテスト結果が通知されますので、そこで確認しています。

ステージング環境でデータが不整合を起こしている問題など、リリース前に早期発見できるようになりました。例えば、ユーザーの利用限度額設定の不具合や、データ入力ミスを未然に防げるようになり、お客様に影響が及ぶ前に迅速な修正が可能となり、開発チームへのフィードバックの質とスピードも大幅に改善しています。

Kitazawaさんはインシデント対応から派生したリグレッションテストの自動化を担当していて、私はそのサポートに加え、特にメール通知機能を使ったテストやビジュアルリグレッションテストの自動化など、手動ではカバーしきれないテストを担当しています。

伊藤：MagicPodの機能で、特に役立っているものはありますか？

Eri：「画像の差分がないか確認」コマンドは、ファイルのアップロード後の画像確認に活用していて成功の許容度や比較エリアを指定できる点が便利です。特にレシートや領収書などアップロード画像の表示確認を自動化でき、目視の負担が減ってテスト効率が大幅に改善されました。他にも、メールテスト機能や、共通ステップ機能も活用しています。

Kitazawa：開発チームからは「自動テストが常に回っていることで、万が一の不具合を検知できる安心感がある」と評価してもらっています。QAが目視で確認する負担が減り、開発チーム全体でリリースへの心理的安全性が向上したと実感しています。最近も新しいプロダクトでMagicPodの利用を検討しているようです。

伊藤：ありがとうございます！

Eri：今後は、MagicPodを基本としつつも、細かい条件指定が必要なシナリオについてはPlaywrightも併用し、ハイブリッドな運用でテスト全体の網羅性を高めていきたいと考えています。

最後に

Eri：困ったときにすぐに問い合わせができ、すぐ返信がもらえる手厚いサポート体制はMagicPodの魅力の一つです。MagicPodのユーザー会では、実際の運用事例や課題解決の工夫が多く共有されていて、私たちも他社の工夫を参考に、共通ステップの活用やテストケース管理方法などを改善できました。こうした情報共有によりテストの失敗が劇的に減り、運用の安定化に大きく役立っています。MagicPodは、これからも私たちの品質向上を支える強力なパートナーになってくれると期待しています。

Kitazawa：MagicPodはUIが分かりやすく、内部的な仕組みに詳しくなくても比較的簡単にテスト自動化を始められるところが魅力だと思います。もちろん、最初は少し戸惑うこともあるかもしれませんが、使っていくうちに自然と慣れて、テスト作成のスピードも上がっていくはずです。

テスト自動化の導入は最初は手間がかかるように感じますが、一度軌道に乗れば品質とリリース速度の両方が向上します。導入を迷っている企業の方には、まず少ないケースから試し、繰り返し運用しながら規模を拡大するアプローチをおすすめします。

Naoki：やはり何回実行しても定額である、というのは、MagicPodの大きなメリットだと思います。また、GUIベースで誰でも簡単にテストケースを作成できるのも魅力です。QAエンジニアだけでなく、開発メンバーも巻き込んでテスト自動化を進めていく上で、この点は非常に大きいと考えています。UPSIDERでは今後もMagicPodを活用し、テスト自動化を推進していくことでより良い顧客体験の提供を目指していきたいと考えています。