1人で30コンテンツの品質管理を実現するためMagicPodを導入。実行回数も検知の幅も7倍に増加し、理想的なテスト体制を構築

GMOメディア株式会社

ブラウザテスト

ユーザーインタビュー第22回は、MagicPod代表伊藤とともにGMOメディア株式会社様にお話を伺いました。
具体的な活用事例や選定の決め手など、いろいろとお話しいただきました。

GMOメディア株式会社

GMOメディアは、創業以来インターネット上で自社開発・自社運営のサービス群であるメディア事業を、ポイ活サイトやゲームプラットフォームサイト、プログラミング教育ポータルサイトなど様々な業界で展開しています。さらに、ソリューション事業としてメディア運営で培ったノウハウを基にポイントサイトの構築を支援する「GMOリピータス」と成果報酬型の広告配信を行うアフィリエイトサービスプロバイダ「アフィタウン byGMO」など提携パートナーの収益化のサポートも行っています。

POINT

OSSテストツールで運用していたが1人体制では限界がありSaaSの自動化ツールを検討
テスト実行回数やアカウント発行数が無制限だったMagicPodを導入
簡単に定期実行できるようになり実行回数も検知の幅も7倍に増加
開発エンジニアもエラー検知がシステム改善の気づきになっている

左から
・中村賢太郎さん　サービス開発部QCチーム
・別府将彦さん　取締役技術部門統括
・伊藤望　MagicPod CEO

MagicPod導入の経緯

中村さん（以下、中村）︰GMOメディアには2016年に入社しました。前職でもコンテンツのテストを担当していまして、ソフトウェアテストには約15年ほど携わっています。弊社には大きく3つの事業部があり、私はそれら約30コンテンツの自動テストを担当しています。

伊藤：それだけのコンテンツ量を見るのは大変そうですね。

中村：チームごとにいろいろな体制、進め方があるので、それらをどうやって統一化していくかというのが課題でした。私が入社した時点でE2Eを実施しているチームもいくつかあったのですが、ツールや言語がバラバラで、まずテストの体制を整えるのが大変でした。また、QC(Quality Control)チームは私含め2人体制だったのですがもう一人のメンバーはテスト経験が浅く、QCチームとしてもノウハウを伝えるところからスタートしました。

テストメンバーとして各チームに直接参加した時期などを経て、結果としてQCチームは一歩引いた立場で統一化と自動化を進めるのが良いと判断し、テスト自動化を本格化させました。テストベース作成から始まり、OSSテストツールを使用した実装を経験しましたが、環境構築に苦労しましたし、とにかくメンテナンスが大変でした。

伊藤：QCというのは全体的な品質管理のことで、個々のサービスを品質向上していくのがQAという考え方で合っていますか？

中村：おっしゃる通りです。入社してからOSSテストツールでの実装を進めていましたが、2020年にチームが私1人体制になり、「これはちょっとボリューム的に厳しいな」と思ってSaaSのテスト自動化ツールを検討することにしました。MagicPodを導入してからは、やっと理想の体制をつくることができてきましたので、今後はQA視点での活動も取り組んでいきたいなと考えています。

MagicPod導入の決め手

中村：実際にテスト自動化ツールの検討を始めたのは、2021年だったと思います。ちょうど世の中にAIを実装したテスト自動化ツールが出てきたタイミングで、AIで補完できる部分があればと考えてMagicPodを含めて3つのツールを比較検討しました。そのうち1つは英語が主軸だったので選択肢から外れ、日本語で扱える2つのツールでトライアルをしてみました。

MagicPodはテスト実行回数が無制限でアカウント発行も無制限というのが魅力的でしたし、料金面でもスモールスタートができる設定だったのは選定するにあたって非常に大きなポイントになりました。

MagicPodは裏でSeleniumが動いていますし、UIがSelenium IDEに似ているのでSeleniumユーザーとの親和性が高いと感じました。具体的にはテスト作成画面のUIで、コマンドが画面の左半分に縦並びになっているのが非常に良いですね。本当に見やすくて使いやすいので気に入っています。

伊藤さんのことはSeleniumの本を読んで以前から知っていましたので、MagicPodについて調べて「あの伊藤さんか！」と気づいたことも決め手になりました。

伊藤：ありがとうございます！2021年に検討を始めて2023年に導入されたということでしょうか？

中村：そうなんです。各チームのテスト担当がテストケースを作っていく形が理想だったのですが、なかなかそこまでの体制を構築するのは難しく……。私1人で全コンテンツのテストケースを1から起こすのに時間がかかってしまいました。最終的に1万弱のケース数を作ったと思います。それらを整備してOSSテストツールで運用していましたが、直近1年弱くらいでMagicPodへの移行を行いました。

本格的な運用は今年の4月から始まっていまして、各チームにMagicPodのレクチャーをしたり、テスト結果を共有したりといったところをメインで取り組んでいます。

伊藤：開発エンジニアもMagicPodを利用されているのですか？

中村：実際に使っているのは現在私のみです。ただ、各チームの開発エンジニアやデザイナーから「私も使ってみたい」「面白そう」という声をもらっていて、30人近くがアカウント登録しています。まずは私が作ったテストの実行と結果確認をやってみようということで簡単なマニュアルを作り、ペアプロ形式でレクチャーを始めたところです。今後も使っているうちに声がかかってくると思います。

MagicPodの活用状況

伊藤：1万件弱ほどのテストケースを作成されたとのことでしたが、現在どれくらい実装されていますか？

中村：約7割です。1つのコンテンツに対して非ログイン、ログインから始まり、各主要ページのベーシックな機能を一通り網羅したテストケースになっています。OSSテストツールを使っていた時のカバレッジが6割でしたので、MagicPodに移行して10%近くカバレッジを増加させることができました。

それらを毎日、深夜帯に回して結果をSlack連携で通知しています。出社してから全てのテスト結果をチェックし、必要があれば各担当者に連絡する流れになっています。Slackチャンネルには各チームから品質意識の高い主要メンバーにも参加してもらっていますので、私より先に反応してくれることもあります。すごく良い流れになってきてるなと思います。

メンテナンス時間もOSSテストツールを使っていたときと比較すると、MagicPodになってからは半分以下に減らすことができました。特にAIの自動修正機能は、提案に問題がなければ承認して終わりですのでだいぶ助けられています。

伊藤：OSSテストツールを使っていたときも毎日回していたのでしょうか？

中村：その頃は週に1回だけ、手動実行していました。別の方法を使って自動化しようとしたこともあったのですが環境構築のハードルが高く、MagicPodの存在も知っていたので断念しました。実際にMagicPodを導入して簡単に定期実行できるようになりましたので、実行回数も検知の幅も7倍になりました。

伊藤：不具合とは別に、たまに落ちるようなフレーキーなテストはありますか？

中村：あります。サイトの挙動が重くてタイムアウトエラーになるようなものがまれに発生します。それらは弊社側の問題で、開発環境を見直すことにもつながりますので非常に助かっています。開発エンジニアとしてはそういったエラー検知が貴重な気づきになりますので、重宝しています。

伊藤：現在はMagicPodをブラウザテストでご利用いただいていますが、モバイルアプリテストも検討されていますか？

中村：弊社のアプリはウェブビューが多いのでブラウザテストで拾えている部分が多いのですが、純粋なアプリ部分は手動でテストしているのが実情です。最近は社内でモバイルアプリテストへの関心も高くなってきています。

QCチームはトップの理解があって理想的な活動ができている

伊藤：今日は技術部門の統括をされている別府さんにも同席いただいています。中村さんからはテスト自動化やMagicPodの導入にあたってどのようなコミュニケーションをとられたのでしょうか？

中村：実は私が入社する前にテストチームを作ったのが別府でして、テストや品質に対する意識を高く持っている人物の1人です。定期的にテストの整備や自動化を進める中で結果や傾向などの報告はしていましたが、もともとの理解もあってMagicPodの導入をスムーズに進めることができました。

別府︰そうですね。社内でも意識は高く持っているほうだと思います。品質を保つためには作ったエンジニアがきちんと要件を意識してテストコードを書き、リリースやデプロイの前にテストをして動きを確認するのがベストで費用対効果が高いと考えていました。

ただ、テストチームが中村1人、一方でサービスは増えていくという状態の中でどうやって効率化すればいいかというのが課題でした。私としてもできるだけコミュニケーションを取るようにしていましたので、MagicPodの導入も時間を掛けずに判断できました。

中村：同じチームのセキュリティ責任者である色川もテストや品質の大切さに対する意識が非常に高く、E2Eテストはセキュリティの観点からも重要だということを提言してくれています。

色川：具体的には、弊社ではOSSの定期アップデートの際にMagicPodのE2Eテストをセキュリティ担保の1つとして動かしているというのがあります。OSSのアップデートを実施するといろいろなところに影響が出ますが、どのモジュールがどこに影響するのかを洗い出して一つ一つ確認していくのは現実的ではありません。そこでE2Eテストをして主要機能、重要機能が全て問題なく動けばOSSのアップデートは完了したことにしているのです。

中村：会社全体としては継続してテストや品質への意識を高めていかなければいけませんが、QCチームは技術やセキュリティのトップの理解があるおかげで理想的な活動ができていると思います。

最後に

中村：MagicPodには人を選ばない操作性や機能性の良さがあり、初めて見たメンバーはだいたい「何これ面白そう！」という反応をします。価格設定も良心的で導入ハードルが低かったのも、非常に助かりました。

弊社では小さいバージョンアップも含めて毎日のようにリリースがありますが、実行回数も無制限で不安要素がほぼありません。毎日テストを流して動作保証、品質保証をしていくことは非常に重要です。テスト自動化ツールとして最適だと思います。