テストが終わらないから次の開発に入れない！を自動化で解決。「テスト自動化おまかせプラン」をうまく活用する秘訣とは

株式会社PHONE APPLI

モバイルアプリテストブラウザテスト

ユーザーインタビュー第13回は、MagicPod代表伊藤とともに株式会社PHONE APPLI様にお話を伺いました。
具体的な活用事例や選定の決め手など、いろいろとお話しいただきました。

株式会社PHONE APPLI

「コミュニケーション改革で、働きかたをアップデートする」をビジョンに掲げ、多様な働き方の実現を目指す働き方改革推進企業様をサポート。組織を強くするコミュニケーションポータル「PHONE APPLI PEOPLE」の開発、販売、自社オフィス「CaMP」での実証実験、世の中の働き方改革調査などを通じ、企業文化の変革や企業価値の向上を目指します。

POINT

導入前は「テストが終わらないから次の開発に入れない」
決め手はシンプルな「浸透性」とサポートの「安心感」
直感的に使えて初めての操作でも困ることがなかった
MagicPodは気軽に自動化の成功体験が得られるツール

左︰松山大さん（クオリティデベロップメントマネージャー）
右︰佐藤有莉さん（クオリティデベロップメント自動化チームリーダー）

MagicPod導入前の課題について

松山さん（以下、松山）：僕が入社したのは2019年末で、テスト自体は第三者検証の会社が入って行われていましたが、開発チームが主導していたこともあって開発寄りの機能テストが中心でした。問題だったのは管理の部分で、ドキュメント類が整理されておらず仕様の正しさの確認も難しい状況でした。

テストケースも膨大に積まれ、当時はウォーターフォール型だったので開発が一段落したタイミングでテストに入っていたのですが、みんなでテストして何カ月もかかるほど。「テストが終わらないから次の開発に入れない！」という状況で正直、手に負えない状態になっていました。

ただ、会社が拡大期に入って開発プロセスもスクラムに切り替えようとしているタイミングだったので「これからはQAやテストの知識のある人も必要だろう」ということで僕が入社し、QualityDevelopmentを立ち上げて今に至ります。現在は業務委託も含めて25人ほどのチームになっています。

佐藤さん（以下、佐藤）：私が入社したのは2020年のQualityDevelopmentができた直後でした。最初はスクラムのほうにいたのですが、2021年に自動化チーム立ち上げのタイミングで移り、現在3人チームで自動化を進めています。

MagicPodを導入した経緯

松山︰QualityDevelopmentを立ち上げてから早い段階で「自動化が必要」という思いはあったのですが、そこに手を付けるまでの整理に時間がかかってしまいました。ちょっとずつ着手し始めたのが2021年の後半ぐらいだったと思います。

最初はオープンソースでSeleniumも検討していたのですが、導入のハードルとチームに浸透させていくためのサポートも考えてMagicPodを選択しました。当時、ブラウザ系もスマホアプリ系も両方対応していた商用ツールはMagicPodくらいだったので、あまり迷わずに決めることができました。

もちろん消去法でMagicPodになったわけではなく、MagicPodが良いと思ったポイントは他にもあります。一つは「シンプルに使える」という点です。テストチームのメンバーは必ずしもコードが書けるわけではありませんのでノーコードで使える「浸透しやすさ」が良いと思いましたし、サポートが手厚いのも安心感がありました。

他にもツールの将来性というか、社名がTRIDENTだったのをMagicPodに変更されたのは本気度が伝わってきましたし、「これできるといいな」と思ったことがすぐできるようになる機能追加のスピード感も良いと思いました。伊藤さんがご活躍されていたところも期待につながりました。

伊藤（MagicPod代表）︰ありがとうございます！

松山︰あとは価格面ですね。今でも思いますけど、やっぱり安いです。テストケースもアカウントも無制限で、他のテストツールだったらもっと高いです。コストパフォーマンスはとても良いと思います。

MagicPodの活用事例

佐藤︰実務では私がMagicPodを利用していまして、メインはPCから使うWebアプリの自動テストで使っています。テストケースで100個くらいを毎日回しています。時間は深夜1時ですが、検証環境の実行時間の問題で昼間に回すこともあります。

現在、弊社では1カ月に1回くらいリリースを行っていますので、その前のタイミングで環境のバージョンアップがきちんとされてるかというチェックのテストを不定期に行っています。

リリース検証ではない時期もあるので毎日回す必要もないかなとは思うんですが、毎日回すことで「環境の問題で失敗した」とか「単にフレーキーだった」といったことが先にわかります。それによって変更が入った時の失敗が本当に変更による失敗かどうかが分かるのが良いと思っています。

伊藤︰確かに、定期実行のメリットですね。使い始めはスムーズにいきましたか？

佐藤︰最初は何をどう作ればいいかわからなくて困ったんですが、私が入る前に前任の方が何個かテストケースを作成してくれていたので、それを参考にして使い始めました。操作自体は一つ一つ調べることなく直感的にできたので、使う中で困った記憶はないです。

ただ、今も困ったことがあれば月に1〜2回ぐらいSlackで質問させてもらっていますが、すぐ返信くださるので助かります。むしろ私のほうが返信が遅くて申し訳ないときがあるくらいで（笑）。いつもありがとうございます。

伊藤︰お困り事を早めに解消できているようで良かったです。他にはどのように利用されていますか？

佐藤︰毎朝、検証環境が立ち上がっているかどうかを確認するスモークテストにも使っています。失敗するとTeamsに通知が飛ぶように設定してあり、誰かしらが気づくような形になっています。

伊藤︰実際に立ち上がっていない時があるんですか？

佐藤︰結構あります。テストは1つなんですが、主要な5つの検証環境で使っています。あとは「こういうことを自動化できますよ」という簡単なデモをQAや開発のメンバーに見せることもあります。数は多くないですが開発からリクエストを頂くこともあります。

伊藤︰開発側とのコミュニケーションがうまくできず導入に苦労される会社さんは少なくないので、開発メンバーが興味を持ってくれるのは良いですね。idの設定などQAからリクエストを出すこともあるんですか？

佐藤︰自動化には期待してもらっていると思いますし、実際ロケーターを取るのに困ることがあります。タイミングを見てになりますがこちらからの要望として伝えられればと思っています。

伊藤︰メンテナンスの効率が上がりますので、チャンスがあればぜひ伝えていただけるといいですね。

「テスト自動化おまかせプラン」をうまく活用する秘訣

伊藤︰MagicPodを導入していただいてから、自動化の進捗具合はいかがですか？

佐藤︰まだまだ30%ぐらいです。100%まで上げたいとは思っているのですが、単純に人手が足りていないのと、自動化チームが3人になってレビューを挟むようになり、そこに時間がかかっているというのもあります。テストの品質は確実に上がっているのですが、品質向上とそこにかける工数のバランスが課題です。

伊藤︰先ほどテストケースが100個くらいあるというお話でしたが、メンテナンスで気をつけていることありますか？

佐藤︰コメントはこういう風に挿入しようといったルールを整備しています。あと定期実行の結果チェックを専任ではなくローテーション制にして属人化を防いでいます。

伊藤︰ナレッジが共有されるので良さそうですね。テストケースのレビューはどういったポイントを確認されているんですか？

佐藤︰先ほどのルールに則っているかというのと、観点漏れがないか、他の人が見ても理解できるテストになっているかといったところをレビューしています。

伊藤︰お話を伺っていると近視眼的にならず、きちんと全体を俯瞰しながら自動化を進めている印象を持ちました。

松山︰最初にMagicPodさんの「テスト自動化おまかせプラン」を利用して、第三者検証会社(株式会社ベリサーブ)のリーダークラスの方とやり取りしながら整理を進められたのが良かったと思います。今のところ予定通り進められていると思います。

伊藤︰「第三者に作ってもらったテストケースがメンテナンスできなくなる」というのもよくある話なのですが、PHONE APPLIさんでは、何でも任せきりにするのではなく、作成されたテストケースのレビューやテスト結果の確認を自分たちでしっかりとしてきたことが、テスト資産の活用につながっていると思います。

最後に

松山︰自動化する手段はいろいろあって、例えばSeleniumを使ってお金をかけずに自動化することもできます。しかし、環境を作ったり使い方を覚えたりしているうちにハードルを感じて心が折れてしまう方が少なくありません。僕自身もそういった経験をしてきました。その点、MagicPodなら凝ったことをしなければほとんど勉強不要で小さく簡単に始めることができます。MagicPodは気軽に自動化の成功体験が得られる良いツールだと思います。

佐藤︰私もこの会社に来るまで、自動化に興味はありつつもハードルを感じて挑戦できずにいました。実際に使うことになった時もうまく使えるか不安でしたが、少しずつ進めて形になってきています。慣れればお金を気にせず毎日いっぱい回して使い倒せるのもありがたいです。MagicPodは最初の一歩を踏み出すのに良いツールです。