QA Success Panel 〜選び方で、自動テストの安定度を変える～
こんにちは、MagicPodメンバーのIkariです。
今回は、2026年8月26日（水）12:00〜13:00開催のオンラインイベント「QA Success Panel 〜選び方で、自動テストの安定度を変える〜」のレポートをお届けします。
「QAサクセスパネル」は、テスト自動化やQA活動を推進されている現場のリアルな知見をお届けするシリーズ企画です。第3回となる今回は、株式会社VoicyのSammyさんをお迎えし、テスト自動化を進める中で多くのエンジニアが直面する「テストのフレーキー化（不安定化）」や「自動化対象の選定」について、弊社エバンジェリストの伊藤とともに、試行錯誤から得られた実践的な学びを掘り下げていきました。
目次
パネルディスカッション
パネリスト
- Sammy さん｜株式会社Voicy EM/QAリーダ
モデレーター
- 伊藤 由貴 ｜ 株式会社MagicPod エバンジェリスト
1. VoicyにおけるQA体制とMagicPod活用背景
まずは、VoicyにおけるQA体制やMagicPod導入の背景についてお聞きしました。音声プラットフォーム「Voicy」は、発信者向けの「収録アプリ」とリスナー向けの「再生アプリ」を展開しており、開発組織約10名に対してQAはSammyさんを含む社員2名＋外部パートナーという体制で臨んでいるそうです。Sammyさんご自身も、企画（PRD）レビューからテスト計画・実行、EM業務まで幅広く担当されています。
MagicPodは、毎週のリリース前に行うリグレッションテストの一環として2025年4月にモバイル版を導入。まずはユーザー数の多い「再生アプリ」から自動化をスタートしたといいます。
2. 再生アプリでの挑戦：3軸評価と「フレーキー化」の壁
成功率38%からのスタート
続いて、最初に自動化に着手された「再生アプリ」での試行錯誤について伺いました。当初評価軸としたのは「ビジネスインパクト大」「手動コスト高」「自動化コスト低〜中」の3軸。まずはクレジットカード決済を含む重要シナリオから、自動化に手をつけたそうです。
ところが、クレジットカード情報のテキスト入力部分でエラーが頻発し、一括成功率は38%まで低迷。毎回のリカバリーには2〜3時間を要するなど、厳しい滑り出しだったといいます。
75%まで回復させた3つのアプローチ
この状況を打開すべく取り組んだのが、次の3つの施策です。
- オートパイロット（AI機能）の活用：テキスト入力エラーの原因を、AIによる要素指定の見直しで解消
- Web API経由でのデータ事前作成：前提となる「新規アカウント作成」を画面操作からAPI経由に切り替え、時間短縮と安定性を両立
- 「週2時間の改善タイム」の固定化：カレンダーであらかじめ時間を確保し、フレーキーな箇所を定期的に集中修正
こうした地道な取り組みの積み重ねで、一括成功率は75%まで回復したとのことでした。
3. 収録アプリでの転換：あえて「手動コストが低い箇所」から自動化
アプローチの変更と成果
続いて、もう一つの対象である「収録アプリ」でのお話も伺いました。2026年2月からは「収録アプリ」の自動化に着手。音声収録・ライブ配信というコア機能はE2Eでの検証難易度が高いため、アプローチを転換されました。
あえて「画面遷移の確認」や「パスワード変更」など、壊れにくく手動実行のコストが低いテストを中心に自動化した結果、最初から一括成功率70〜75%をキープし、手動テストケースを171件削減することに成功したといいます。一方で、もともと短時間で終わるテストが中心だったため、手動テスト時間の劇的な削減までは直結しなかったそうです。
自動化コストの見積もりと今後の展望
今回の試行錯誤を通して、Sammyさんからは以下のような実践的な知見を共有していただきました。
「自動化コストが低そうと見立てても、実際に組んでみると外部連携やUIの挙動で難航することがあります。知見のあるエンジニアやAIにテスト手順をレビューしてもらい、難易度の当たりをつけるアプローチが有効です」（Sammyさん）
「意図した放送が再生されているかなど、深い層の確認はユニットテスト等に任せ、E2Eでは音が出ているかなどユーザー体験の担保に集中するなど、テストピラミッド全体での役割分担・棲み分けを再設計していくことが重要だと感じています」（Sammyさん）
Q&Aセッション
後半のQ&Aセッションでは、視聴者の皆様から寄せられた質問にもお答えいただきました。
Q. MagicPodで実行するテストの選定基準は？
「理想としてはテストピラミッド全体の棲み分けが重要ですが、まずは『どのユーザー体験を絶対に担保したいのか』を出発点に置くのがおすすめです。多少ユニットテストと重複していても、担保すべきコア体験から落とし込んでいくのがスムーズだと感じています」（Sammyさん）
Q. 端末やOSバージョンの互換性テストも自動化していますか？
「現状は最も利用者の多い主要なiOS/Androidバージョンでの定期実行に絞っています。ダイアログ表示の分岐処理などメンテナンスコストとのバランスを見て、リスクが高くない範囲では対象を広げすぎない判断をしています」（Sammyさん）
Q. 待機時間が必要な処理でテストが落ちる場合、オートパイロットはどう活用できる？
「一括実行で早すぎて落ちるケースはよくあります。オートパイロットを活用して適切な待機処理や要素の取得条件を自動調整させることも有効ですので、ぜひ試してみてください」（Sammyさん・伊藤）
Sammyさんの取り組み・今後の活動
イベント冒頭では、Sammyさんが個人・社外活動として精力的に取り組まれている発信活動や各種イベント、プロジェクトについてもご紹介いただきました！
Voicyチャンネル「テスティングジャーニー🌍」
日々の気づき・学びを毎日音声で発信されています。
登壇イベント
カードゲーム「リリースしていいですか？」
バグを直しながらリリース成功を目指すオリジナルのカードゲームを制作・予約受付中。（note記事）
おわりに
セオリー通りの選定基準で進めても、プロダクトの特性やツールの相性によって予期せぬフレーキー化にぶつかることは珍しくありません。自社の状況に合わせて柔軟に方針をチューニングし、定期的な改善タイムを確保してメンテナンスを回していく運用の重要性が伝わるセッションとなりました。
MagicPodでは、今後もQA・テストに関するイベントを開催していきます。ご興味のある方は、ぜひ次回ご参加ください。
ご登壇いただいたSammyさん、ご参加いただいた皆様、誠にありがとうございました！
※アーカイブ動画は後日公開予定です。
