日本語「MagicPod Autopilot 開発者によるQ&Aセッション」ウェビナーレポート
こんにちは。MagicPod カスタマーサクセスのIshiiです。
本記事では2025/10/15に開催したMagicPod Autopilotに関するウェビナーについてご紹介します🚀
目次
MagicPod CSウェビナーについて
MagicPod CSウェビナーとは当社のCS（カスタマーサクセス）メンバーがMagicPodの機能について解説する、誰でも参加可能なウェビナーです。前回は9月にブランチ機能をテーマとして開催しました。
前回のイベントレポートはこちら▼
今回は生成AI機能であるMagicPod Autopilotをテーマに開催しました。
ありがたいことに60名の方が本ウェビナーにご参加くださりました。ご参加くださった皆様、本当にありがとうございました！
こちらのブログではダイジェスト版として、MagicPod Autopilotの概要およびウェビナー内のQ&Aをご紹介します。時間の都合上ウェビナー中にお答えできなかったご質問についても回答しておりますので、ぜひ参加された方もご一読いただけますと嬉しいです。
モバイルアプリ・ブラウザ（ウェブアプリ）テストの両方に対応したAIテスト自動化プラットフォーム「MagicPod」のご紹介資料です。
今すぐ無料でご覧いただけますので、ぜひご活用ください！
＼ MagicPodのの紹介資料を今すぐ入手 ／
資料を無料でダウンロードするMagicPod Autopilotとは
MagicPod Autopilotとはチャット対話でテスト作成、編集、実行ができるAIエージェントです。ChatGPTと会話するようなイメージで「XXをしてください」と指示をすると、テストケースを作成、編集してくれます。
MagicPod Autopilotの一番の特長は、テストケース作成だけでなく、実行ができるところです。テストが失敗した場合は原因を特定し、成功するまで試行錯誤してくれます。このような自走する仕組みとなっていることから、"Copilot"ではなくMagicPod "Autopilot"と名付けております。
MagicPod Autopilotが動作している様子については、以下動画でご確認ください。
MagicPod Autopilot 開発者によるQ&Aセッション
Q&Aセッションでは、約20個のご質問をいただきました。ご質問くださった皆様ありがとうございました。
ここではいただいたご質問とMagicPodからの回答をご紹介いたします。
ご質問については今後の機能拡張関連、活用方法関連、その他、と３つのカテゴリーに分けています。
⚠️注意事項：本回答内容は2025年10月時点のものとなります。最新の更新状況はリリースノートをご確認ください。
今後の機能拡張に関するご質問
Q. Autopilotの今後の機能拡充内容とその具体的なスケジュールを公表できる範囲でお聞きしたい
まずはじめに、E2Eテストというのは計画、実装、運用と大きく3つのフェーズに分けられると考えています。現在のMagicPod Autopilotはそのうち「テストを実装する」に主にフォーカスしており、現状は他のフェーズにサポートを拡げられていない状況です。
- テストを計画する
- テストを実装する -> 現在サポート中
- テストを運用する -> 次はこのフェーズ
スライドの左上にあるテスト失敗時の自動修復にAutopilotを適用するという構想については「テストを運用する」フェーズにあたります。
運用負荷はテスト自動化での大きな課題だと考えており、最優先で取り組んでいきたいと考えています。
現状もテスト失敗時の自動修復機能があるのですが、それがより賢くなるイメージです。
早ければ2025年末ごろに最初のバージョンをご提供できればと考えています。
他にはMagicPod Autopilotではないのですが、生成AI関連の機能というところでは「AIアサーション」機能を今後実装します。（2025/10/21にリリースしました！）
Q. 今後の機能追加予定（共有ステップや共有UIを使用できるか、Autopilotに一括でいくつもの指示文を出せるか）
現状はすでにある共有ステップ資産を利用してテストを作る、キャプチャしたUIを共通化する、といったところがサポートできておりません。このような細かい使い勝手も今後改善していきたいです。
一括でいくつもの指示文を出せるか、という点については現状でも一定可能かと思います。もしいくつものテストケースを並行して作成できるか、という粒度のご質問であればそれは現状サポートできていません。
Autopilotにファイルアップロード機能が実装された場合、アップロードしたエクセル仕様書からテストケースを作るといったケースが想定されます。一般的にエクセル仕様書にはたくさんのテストケースが記載されているため、それらを一気に作りたいという要望がでてくるかと思います。
複数テストケースの一括作成については結構先の未来にはなってしまうかと思います。まずは粒度の大きいリクエスト（「ユーザー登録のテストを作って」など）をしっかり作れるようにしていく、そして徐々に拡げていって、最後にはそこに辿り着けたらいいなと思っています。
Q. MagicPod MCP経由でAutopilotを呼び出すことはできますか？
現状はできませんが、今後実現したいと思っています。
将来的には仕様書をAIエージェントに渡すだけで、AIエージェントがMagicPod MCPサーバーを介してMagicPodのテストを作成・実行をするというシームレスな体験をご提供したいです。
Q. 読み込ませるExcel等の設計書の推奨記載方式があればお聞きしたい
今後実装予定のファイルアップロード機能に関するご質問となりますが、現状は特に推奨記載方式は決まっておりません。ぜひ皆様のチームで使っているエクセルなどの設計書を見させていただき、その書式で上手くいくようにしたいと考えております。
そのため、ぜひ皆様が普段使用している設計書をMagicPodサポートにご提供いただけると幸いです。秘密情報はマスクしたり、カットしていただいて構わないので、よろしくお願いいたいます！
Q. Autopilotでテストが失敗する原因の調査はできますか？
現状はできないものの最優先で実装を進めたいと考えています。
また、Autopilotにもテスト修復AIエージェントを適用させることで、テスト実装フェーズでのテスト失敗原因の調査もより精度高く行えるようになる予定です。
Q. 共有ステップを含んだテストケースを修正したい場合などにも対応できますか？
共有ステップ自体の修正はMagicPod Autopilotでは行えませんが、共有ステップ以外のステップについては修正可能です。不便だと我々も認識しておりますので、今後共有ステップのサポートに関して優先度高く対応していきます。
Q. 新規で複数のテストケースを作成する場合に、共通ステップなども自動で作成してくれますか？例えばサインインは共通処理なので、共通ステップにする等
共有ステップの作成・編集は、まだ対応できておらず今後サポート予定です。
上記例であれば、テストケース作成についてはMagicPod Autopilotで行い、サインインの共有ステップ化については手動で行なっていただけますと幸いです。
Q. 都度参照してほしい情報（“適宜コメントを追加してほしい”などの共通の指示、プロダクトの使用等）を事前に設定しておくことはできますか？
ウェビナー内で回答できなかったご質問となりますが、恐れ入りますが現状はサポートできていません。
MagicPod Product Portalにご要望を起票しておりますので、本機能の実装を希望される場合は投票をお願いします。
毎回使うMagicPod Autopilot用のプロンプトを事前に設定したい
活用方法に関するご質問
Q. MagicPod Autopilotを効果的に使うコツを知りたい
MagicPod Autopilotに限らず、生成AI全般に言える話となりますが、小さなタスクから始めて、段々大きくしていくことをおすすめしています。具体的な例を挙げますと、ポップアップ広告が表示されてテストが落ちてしまったみたいな時に、この広告が出てる時はバツボタンクリックするステップが必要だねと分かっているのであれば、「ポップアップ広告が表示されてたら、バツをクリックするように修正して」と指示するくらいのミニマムな粒度です。
そして、段々と抽象的で大きなタスクを依頼するようにしていくと、生成AIの能力の限界が見えてくると思うんですよね。あ、こういうところで失敗しやすいんだなとか、そういうところをどんどん知っていって、習熟していくと良いかと思います。
CSチームから補足:
「まだテスト実行はしないでください」と指示することで、どのようなテストケースを作成しようとしているのか一度確認してからテスト実行を指示するという使い方も良いかと思います。
他にはリンク切れの確認テストを作るところを、「全ページでリンク切れがないか確認するテスト作って」といったプロンプトでMagicPod Autopilotで作ってみたら良い感じに出来たといった話をユーザー様からお伺いしてます。今までE2Eテストだと作成が面倒であまりやってこなかったテストもぜひ作成を試していただきたいですね。
参考ブログリンク：MagicPodを本番環境のシステム監視にも使ってみよう
他にはPlaywrightで書いたコードをMagicPod Autopilotに読ませると、良い感じにMagicPodのテストケースに変換できることを確認しています。
ブログにまとめておりますのでぜひご覧いただけると嬉しいです。
参考ブログリンク：Playwrightで書いたソースコードをMagicPod Autopilotに読み込ませてみた
Q. MagicPod Autopilotが苦手なところ、まだうまく作れないところはあったりしますか？
苦手なところはまだ色々とあります。
本質的に生成AIでやってるから難しいというわけではなくて、MagicPod Autopilotの機能追加が間に合っていないからまだ出来ていない、といったところがほとんどです。
現状で言うと、例えばスクロールを含むような縦長のページのテストは結構失敗しやすいです。MagicPod Autopilotには画面をスクロールしながら画面の内容を把握する能力みたいなものがまだ足りないんですよね。
他には失敗分析ですね。本当に小さいレベルだったら現状のMagicPod Autopilotでもテスト結果を見に行く機能があるので出来るんです。エラーメッセージを読んで直すなど、ある程度自分でやってくれるんですけど、本当に簡単なエラーしか直してくれないですね。ここは今後テスト修復AIエージェントをサポートすることで改善していきたいです。
本質的な難しさではないので、今後の機能追加でどんどんできるようになっていくと思います。
Q. 具体的な工数削減の事例やtipsを知りたい
CSチームから回答：
大変恐縮ですが、具体的な工数削減事例としては現在公表できるものはございません。
一つ具体的にデモでお見せしたようなホテルの部屋を予約するテストで考えてみますと、今までは30分から長ければ1時間以上かかってたのかなと思います。それが指示を出すだけで別の作業をしている間に完成しました。微調整は一定必要になると思いますので、0分とはならないかと思いますが、60分の作業が10分で出来るように、といった数字は出せるのではないかと思っています。
工数削減、コスト削減についてはやはり皆様気になるところかと思うので、MagicPodサポートからの情報発信を今後充実していきたいと思います。
Q. QAチームにAI利用を定着化させる工夫（属人化させない, 導入プロセスなど）を知りたい
生成AI担当として活用推進をした経験談をお伝えします。今ではAIを使った開発というのはチームに根付いているなと思っていて、誰もが普通に使っているという状態になっているかなと思っています。
AIエージェントが旋風を巻き起こしてた今年の春くらいから新しいものが色々と入ってきたので、MagicPodの社内でも利用できるように環境を整えたのですが、やはりその段階では一部の人が興味を示すだけであって、全員が普通に使っているという状況には至らなかったんですよね。
ただ導入するだけだとそこで止まってしまうので、その後、空気やモチベーションを継続的に作っていくみたいな過程が絶対に必要かなと思っています。具体的に私のチームとかでやったことで言うと、AI DayといったAIだけで開発する縛りの日、みたいなものを作ったりしました。AI Dayには、AIだけで開発をし、ワイワイと楽しみながらTipsを共有するみたいなことをしていました。
他にはモブプロをやりましたね。モブプロといっても、モブプログラミングではなくモブプロンプティングです！AIを用いて全員で同じタスクを行い、「自分だったらこんなプロンプトを書く」とか、「こうしたらいいんじゃない？」とか「こういうMCPサーバーを入れるとうまく動くよ」とか、色々なTipsを共有して全員で楽しみながらAIに対する習熟度を高めていきました。
リーダーとしてはしつこくAIの話題を出し続けることも大事だと思います。「今週はAIでこんなことをやった」とか、「こういうところがうまくいった、逆にこれがうまくいかなかった」などの情報共有や、「こういうのはちょっと向いてないかもね」といったAI雑談のような話題をひたすら出して広めていくことも効果的でした。
そもそもとして、AIが上手に使えるようになれば生産性が向上するものですから、完全拒否という人はあまりいないはずです。積極的には勉強はちょっと、、でも誰かが引っ張ってくれるんだったら勉強したいなあと思っている人がきっとほとんどだと思います。AIを使うと良いことがある、といった空気を作っていくと、多くの人がついてきてくれるんじゃないかなと思いますね。
Q. 推奨されているプロンプトがあれば教えていただきたいです
生成AIは幅広い用途に使うことができるものですので、いつでもこのプロンプトを使えばいいよというものの提供は難しい状況です。先ほど少々ご紹介しましたが、PlaywrightのコードをMagicPodのステップに変換するといったちょっとピーキーな使い方もできます。他のユースケースとしては、「日付に依存するテストは安定しないと思うので、依存しないように修正してください」といった指示を与えて良い感じのテストケースが生成された事例もあります。
また、MagicPodに限らず生成AIツール全般を最大限に活用するためには、自分の目的を明確に言語化する能力を磨くことが大事だと思います。
CSチームから補足：
安定した動作が確認されたプロンプトについては、プロンプト集としてまとめて公開しています。
現状はメールテスト関連のプロンプトのみの掲載となりますが、一層充実させていきたいと思っておりますのでよろしくお願いします。
参考ヘルプページ：MagicPod Autopilot プロンプト集
Q. MagicPodを始めて触るレベルのメンバーがAutopilotを使うときに注意すべきこと等あれば教えていただきたいです
CSチームから回答：
例えばチーム内にベテランの方もいて、初心者の方もいて、という状況ですと、ベテランの方は自分たちのルールがあると思うんですよね。例えば変数の命名規則や、共有ステップにまとめる基準、こういう時にはコメントを入れるなどです。そのようなルールをきちんと言語化して、プロンプトに入れるようにすると、初心者の人もいい感じにテストケースが作れるのではないかと思いますね。
あとはAutopilotで編集して失敗してしまっても、履歴機能で戻せたりとか、ブランチ切っておくとか、間違えてしまった際にどうにかする術をMagicPodでは用意していますので、初心者でも安心して使っていただけるのかなとは思っておりります。
その他のご質問
Q. AI使用に伴う情報漏洩の懸念がないか
セキュリティには細心の注意を払っており、漏洩するリスクは基本的にないと思っています。
お客様が一番懸念される点としては、MagicPodサーバーだけで処理が完結せず、AIモデルのプロバイダーに情報を送信している部分かと思います。
Autopilotですとテストケースの生成に必要な情報、例えば既存のテストテストケースの中身やテスト対象アプリの画面の情報などをAIモデルのプロバイダーに情報として送信しています。
もちろん、それらはプロバイダー側の学習に利用されないように設定済みですし、MagicPod側でもテストケースのデータなどを我々が学習に利用するということは全くしていません。
そのため、皆さんがMagicPodで作成したテストケースなどが期せずして学習され、他のユーザー様のところにアウトプットとして出力されてしまった、というようなことは起きえません。
また、将来的によりセキュリティを強化していきたいと思っています。今は生成AIのプロバイダーに情報を送信しているのですが、生成AIのモデル自体を自社インフラの中にホスティングして、MagicPodのインフラから外に一切情報を出さない作りとする計画をしています。よりセキュリティ面を強固にしてまいりますので安心してご使用いただければと思います。
CSチームから補足：
生成AI利用については、お客様の社内ルール上で様々な確認が必須であったりすることも多いので、なるべく多くの情報を提供していきたいと思っております。生成AIに関するポリシー策定検討やヘルプページの充実など、情報発信を今後しっかり行なってまいりますのでよろしくお願いします。
Q. 既存のテストケースにステップを追加する場合（既存のコンテキストを把握しながら）の、精度はどのようなものか気になりました！
現状結構精度よく動いているかなと思っていますね。Autopilotにゼロから作らせるのと、既存のテストの修正でそれほど大きく違いを感じたことはないですね。 というのも、Autopilot実行時には既存のテストケースを読み込む機能があって、そこでどんなテストしてるのかをきちんと把握しますので、ゼロから作るのと同じだけの情報を得られるような作りになっています。
CSチームから補足：
ぜひお試しいただいて、精度が悪い等あればサポートにお問い合わせいただけると、今後改善してまいりますのでよろしくお願いします。
Q. MagicPod Autopilotとは違いますが、Magicpodの各テストのjsonをコピーとかでVScodeにもってきてGithub copilotとかDevinとかでテスト書かせてペーストさせるみたいな書き方って推奨非推奨とかってどうなんでしょうか？
そのような使い方は難しい印象です。
jsonを直接編集するという形ですと、そのjsonがどのような形式なのか、スキーマを知らないで編集すると多分うまくいかないのではと思います。Autopilotにはそのスキーマの情報とかをすべて渡しているので、正しいものを生成できるんですが、多分皆さんのお手元のCopilotやDevinはその情報を持っていないので正しく編集できないかなという予感はしますね。
Q. MagicPodの新機能をリリースする前のテストはMagicPodを使用しているのでしょうか？
はい、MagicPodのテストにはMagicPodを活用しています。
最近は新しいテストケースを作るときは、MagicPod Autopilotを使って作ることが多いですね。他にはAutopilotの生成結果を検証するっていうのは結構非決定的なので難しいんですけれど、それも最近リリースしたAIアサーション機能を使って、Autopilotのテストをするということをやっています。
Q. AIアサーション機能ではアイコン表示状況のテストなど粒度の高いものが得意という認識ですが、レイアウトレベルの確認などは従来の通りスクリーンショットの差分確認で実施していくべきという認識であっておりますでしょうか。また、その他AIアサーションでの非推奨テスト項目などあればお聞きしたいです。
ウェビナー内で回答できなかったご質問となりますが、そちらの認識で合っています。
非推奨な項目としては、既存の確認コマンドや画像差分チェックで十分確認可能な項目に対してAIアサーションを使用する必要はないかと思います。今後ユースケース集のようなものをご提供できればと思いますので、よろしくお願いします。
MagicPod Autopilotに関する参考資料
MagicPod Autopilotについてはぜひ以下の資料もご確認いただければと思います。
また、ご不明点があればお気軽にご相談くださいませ。
ヘルプページ：MagicPod Autopilotについて
ヘルプページ：生成AI関連の機能を利用する
特設サイト：MagicPod Autopilot紹介サイト
最後に
1万字近い記事となってしまいましたが、MagicPod Autopilotがどのようなものか、どうすれば上手に活用できるかについてイメージ出来ましたでしょうか。
皆様からのご質問を通じて気づきや開発のヒントも多く得ることができ、主催者側としてもとても有意義な機会となりました！
私個人としては、開発者(VPoPのYoda)の話を聞く中で、MagicPod Autopilotを使いこなせる状態になれば他のAIツールも上手に活用できそうだな、と思いました。AI活用人材になれるようにがんばります！
今後もCSウェビナーを企画していきたいと思いますので、ぜひユーザーの皆様も、E2Eテストツール導入検討中の皆様も、お気軽にご参加くださいませ🚀
「MagicPod Autopilotを試してみたい！」というご相談も大歓迎です。
MagicPodでは無料トライアルをご提供しています。
もしMagicPodが気になった方は、ぜひお気軽にお問い合わせください！
https://magicpod.com/consulting/
