リグレッションテストを16時間→2時間に短縮、テストの98%を自動化したチームも。２度目のテスト自動化で成功した理由。

LINEヤフーコミュニケーションズ株式会社

モバイルアプリテストブラウザテスト

ユーザーインタビュー第4回目は、MagicPod代表伊藤とともにLINEヤフーコミュニケーションズ様にお話を伺いました。
具体的な活用事例や選定の決め手など、いろいろとお話しいただきました。

LINEヤフーコミュニケーションズ株式会社会社概要

LINEおよび関連サービスの「開発」、イラストレーション、パッキング、デザインなどの「クリエイティブ」、ユーザーエクスペリエンスを高めるための品質管理や、審査・カスタマーケア業務などの「運営」、新しい価値創出のため新規プロジェクトを企画・実行する「事業企画」など、LINEグループの国内第二拠点としてさまざまな業務を行っています。

POINT

属人化の問題を解決して2度目のテスト自動化が成功
非エンジニアでも使えるので社内でも広がっている
リグレッションテストの98%を自動化したプロジェクトも
選定の決め手になったのは「信頼感」

LINEヤフーコミュニケーションズ株式会社サービステストセンター Service Test室
左：福永誠さん（Sticker Testチームマネージャー）
右：橋本悠我さん（Automation Test TF）

MagicPod導入の経緯

福永さん（以下、福永）：当社にはテストに関わるメンバーが400人ほど所属しており、テスト組織としてLINEグループの中でも最大級の拠点になっています。その中でテストの専門部署と開発、企画がプロジェクト単位で150ほどのチームを作ってLINEが提供するほとんどのサービスのテストに携わっています。

MagicPodを導入したのは2020年の3月です。大規模化・高速化が進むシステム開発の中で、テストの選択肢が手動だけでは効率や品質の面で不十分だと感じていたことや、単純作業の繰り返しによるテスターのモチベーション低下を予防すべく、2019年からテスト自動化ツール導入の検討を始めました。

橋本さん（以下、橋本）：既存機能のデグレによる不具合が増加し、事業として問題視されていました。スピードが求められる一方で人員もテストにかけられる時間も限られていますので、主にリグレッションテストを自動化することで安定性の強化を模索しました。

福永：比較検討するためWeb/iOS/Androidに対応しているツールを調査して最終的に三つに絞り、トライアルで実際に使ってみて、MagicPodを導入することに決めました。主な決め手として、

サポートが迅速かつ丁寧だったこと
著名な開発陣に技術支援が期待できたこと
非エンジニアにも使いやすかったこと
テストの実行回数に制限がなく費用面で優位だったこと

などが挙げられます。現在、私のチームにはメンバーが7〜8人いるのですが、エンジニアリングスキルがあるのは橋本ともう一人くらいで、ほとんどが非エンジニアです。「ロケーター」や「XPath」といった言葉も知らない状態からスタートして、実際に戦力として活躍してくれています。

橋本：エンジニアリングスキルがあった方が良いのはもちろんですが、MagicPodを使うだけであれば無くても問題ありません。今の環境は非エンジニアの方がどんどん参加できるようになっていると思います。

福永：CI環境を構築して社内ツールなど別のツールとMagicPodを連動するといったエンジニアリングスキルが求められるところは橋本をはじめ、できるメンバーが役割分担でカバーしています。実は、自動化に取り組むのは今回が2回目です。前回はSelenium WebDriverや Appiumの活用を主体に行なっていたのですが、専門的なスキルを持つメンバーが異動や退職した際に引き継ぎができずにチームが解散してしまいました。

今回はMagicPodのお陰で持続可能な取り組みになりましたし、社内の既存メンバーにとっても新しいキャリアパスになります。実際に成果が出たことで他の拠点から「私たちも使いたいです」という連絡があり、現在は契約をグループ全体に変更して30〜40プロジェクトほどで利用しています。

MagicPodの活用事例

橋本：弊社ではMagicPodをプロジェクトごとに使用しており、使い方もそれぞれなのですが、繰り返し実行するようなリグレッションテストを自動化して1日1 回定期実行しているケースが多いです。お陰でデグレが早いタイミングで検知できるようになって修正対応がスムーズになり、締め切り間際に慌てることがなくなりました。私自身は、MagicPodで作った自動テストの信頼性を検証するため24時間テストを回してデータを取るといった使い方もしています。

福永：テスト環境はセキュリティーの関係で社内に閉じられていなければいけないため、MagicPodはローカルで実行しています。スマホの場合は社内にMacとスマホ複数台を接続して実行し、WEBの場合は社内サーバ（Linux）でDockerを立ち上げて実行しています。

橋本：iOS/Androidのあるプロジェクトでは、リグレッションテストの約30%をMagicPodで自動化することで3人で3日かけていたテストが2日に短縮できました。浮いた時間は、これまで「やるべき」と思いつつできていなかった手動テストができるようになり、カバレッジの向上につながっています。Webの別のプロジェクトではリグレッションテストの98%をMagicPodで自動化し、16時間程度かけていたものが2時間に短縮できました。ほぼ全てのリグレッションテストを定期実行できるようになり、開発者から「不具合があればすぐに検知してくれるから安心して積極的にやれる」という声が上がっています。実際、リファクタリングのプルリクエストが自動化前と比較して1.8倍に増加し、改善スピードの向上にも貢献できています。

福永：新規プロジェクトの場合はどこから着手するかの判断が必要になりますので、弊社では自動化適性のチェックリストを作って優先度付けを行っています。自分たちの判断材料になりますし、各ステークホルダーに「なぜここから着手するのか」を示す説得材料にもなります。
チェックリスト・ランク付けは他社さまの事例やISTQBの資料を参考にさせていただき、先輩たちの知恵を組み合わせる形で作りました。

MagicPodを選定した最後の決め手

福永：私からも伊藤さんにお聞きしたいことがあるのですが、バグ報告や要望のリクエストをすると、「今週末にリリースします」「来週リリースします」とリードタイムが速くてとても感激しています。急なリクエストにも早く対応できる秘訣が知りたいです。

伊藤：弊社もリグレッションテストを相当組んで自動化していますので、全部通れば出せるようにして速いリードタイムを実現できるようにしています。製品の設計自体も規模が大きく複雑になってくると直した時に改修の影響範囲が読みにくくなりますので、破綻しないよう緻密にプログラムできる人を採用しています。何かあった際に「ここだけ直せばいい」となる直しやすい設計になっていると思います。

お客さまからのバグ報告や要望に対して、高い優先順位を割り当てているというのもあります。特に導入初期は、自動化する上でブロックになっているものが続くとモチベーションが下がって自動化がストップしてしまうことが少なくありません。僕自身、前の会社で同僚が自動テストツールのバグにハマって自動化できずに心が折れるというのを何度も見てきましたので、早く対応するというのはすごく重要なことだと思っていますし、チーム全体でそういったマインドが浸透していると思います。

福永：お話しを聞いていて、先ほどのMagicPodを選定した理由で大事なことを言い忘れていたのを思い出しました。まさに伊藤さんの姿勢というかスタンスみたいなところが信頼できると強く感じたポイントでした。そこが最後の決め手になりました。

橋本：自動テストを継続的に発展させていくためにはエラー分析と戦い続けることになりますが、困った時はすぐ解決策を提示いただけるので助かっています。なぜそうなるか理由も教えていただけるので繰り返さないための学習もできますし、運用や構築の相談に乗っていただけるのも魅力です。

伊藤：それは良かったです。ありがとうございます！

最後に

福永：公開されている各社さまの事例紹介も拝見しましたが、私たちも本当にその通りだと思いました。私からお伝えしたいことは、「人間の特性」についてです。テストの自動化に取り組もうとした際、ただ手動で行っていたことを人間の代わりに自動化したい（置き換えたい）と考えるだけでは、私の経験上でも途中でつまずくことが多い印象です。昨今、テスト自動化に関していろいろな情報が出ていますので「自動化の特性」についてはご存じのことも多いと思いますが、「人間の特性」についても目を向けてみると、人間が行うのが当たり前だと思っていた部分にも、潜在的なニーズが見つかるかもしれません。

「人間の特性8箇条」

人間は気まぐれである
人間はなまけものである
人間は不注意である
人間は根気がない
人間は単調を嫌う
人間はのろまである
人間は論理的思考力が弱い
人間は何をするかわからない

※高橋秀俊,ヒューマン•ファクターと信頼度,コンピュータにおけるヒューマン・インターフェーズシンポジウム報告集, 1983

人間が不得意なこと、できないことを自動テストに任せることで、適材適所な役割分担ができて私たち人間が行うべき仕事の価値も向上できると思います。

編集部からのひとこと

福岡にお邪魔してインタビューさせていただくことを計画していましたが、コロナの感染拡大を受けて訪問は断念。それでも、お二人の多大な協力により今回のインタビューが実現しました！
お二人はMagicPodをとても褒めて下さりましたが、これだけ社内で利用が広まったのには、お二人の運用の工夫やお人柄があったからだと確信しました。最後に教えて頂いた「人間の特性8箇条」は、自分にかなり当てはまることもあり、とても納得でき勉強になりました！！