AIエージェントでテスト自動化を始めよう:Claude CodeとMagicPod MCPでテストを作る・直す流れ


こんにちは。MagicPodエバンジェリストのYoshiki Ito / 伊藤由貴です。

MagicPodのMCPサーバーを使うと、Claude CodeなどのAIエージェントからMagicPodのテストを作成したり編集したりできます。 とはいえ、「MCPと言われてもピンとこない」「AIエージェントに何と頼めばいいのか分からない」という方も多いのではないでしょうか。

そこで本記事では、Claude Codeに「MagicPod MCPでテストを作りたい」と話しかけるところから、テストを作成して実行し、あとから修正するまでの流れを、会話の画面イメージに沿ってご紹介します。 後半では、運用中に役立つ使い方として、不安定なテストを見つけて直してもらう例もお見せします。 読み終えるころには、自分のプロジェクトで最初の1件を試すイメージを持っていただけると思います。

なお、本記事に掲載している画面は、実際の操作をもとに作成したイメージです。 組織名やプロジェクト名は架空のものに置き換えています。


目次

MagicPod MCPでできること

MCPはAIエージェントとMagicPodをつなぐ仕組み

MCP(Model Context Protocol)は、AIエージェントが外部のサービスを操作するための共通の仕組みです。 MagicPodが提供するMCPサーバー(以下、MagicPod MCP)をAIエージェントにつなぐと、AIエージェントがMagicPodの操作を代わりに行えるようになります。



利用者は、AIエージェントにやりたいことを日本語で伝えます。 AIエージェントは頼まれた内容に応じてMagicPodの機能を呼び出し、結果を報告してくれます。

AIエージェントに頼めること

MagicPod MCPを通して、AIエージェントに次のような作業を頼めます。

  • テストケースの作成、編集、実行
  • テスト実行結果の確認と、失敗原因の調査
  • 共有ステップの作成や整理
  • テストケースのラベルの追加や削除、ブランチの作成
  • ロケータの検証と、より安定したロケータの提案

MagicPod MCPで使える機能の一覧は、ヘルプセンターの「MagicPod MCPサーバー」にまとまっています。

テストケースを作成するとき、AIエージェントは想像でステップを並べるわけではありません。 実際にブラウザを起動して画面を取り込み、ステップを追加したら動かして確かめる、という手順を繰り返しながらテストを組み立てます。 この流れは、後ほど実例でご紹介します。

対応しているAIエージェントは、Claude(デスクトップ版やWeb版)、Claude Code、ChatGPT、Cursor、Codex、Gemini CLIなどです。 本記事ではClaude Codeを例に説明します。

料金とプランについて

MagicPod MCPは、MagicPodのすべてのプランで利用できます。 MagicPod MCP経由でテストケースを作成、編集しても、MagicPodのAIクレジットは消費しません。 AIの処理にはAIエージェント側の利用枠が使われるため、利用できる量や料金はAIエージェントの契約プランによって決まります。 なお、Claudeの無料プランでは、文字数の上限によって応答が途中で止まることがあります。

準備: Claude CodeにMagicPod MCPをつなぐ

Claude Codeを使う場合は、ターミナルで次のコマンドを実行します。

claude mcp add --transport http magicpod https://app.magicpod.com/mcp && claude mcp login magicpod

ブラウザでMagicPodのログイン画面が開くので、普段使っているアカウントでログインすれば準備は完了です。 シングルサインオン(SAML)やGitHubでMagicPodにログインしている場合は、APIトークンを使う手順になります。 Claudeのデスクトップ版やWeb版では、コネクタの一覧から「MagicPod」を追加できます。 詳しくはヘルプセンターの「MagicPod MCPサーバーのセットアップ手順」をご覧ください。

Claude Codeは、AIエージェントがMagicPodを操作する前に許可を求めてきます。 慣れるまでは操作のたびに許可する設定のままにしておくと、AIエージェントが何をしているのかを一つずつ確認しながら進められます。

Step1: 会話しながらテストケースを作成する

ここからは、テスト自動化の練習用サイト「HOTEL PLANISPHERE」を題材に、ログインしてマイページが表示されることを確認するテストを作ってみます。

「MagicPod MCPでテストを作りたい」と伝える

最初の一言は、細かく考えなくても大丈夫です。 Claude Codeを起動して、「MagicPod MCPでテストを作りたい」と入力してみます。



Claude CodeはMagicPodに接続し、アクセスできる組織とプロジェクトを一覧にしてくれました。 そのうえで、作成先、テストの内容、新しく作るか既存のテストに追記するか、の3点を尋ねてきています。 必要な情報が足りないときは、このようにAIエージェントのほうから質問してくれます。

プロジェクトのURLと、確認したい内容を伝える

作成先は、組織名とプロジェクト名を入力してもよいのですが、MagicPodで開いているプロジェクトのURLを貼るのが手軽です。 MagicPodのURLには組織名とプロジェクト名が含まれているので、AIエージェントが対象を正確に特定できます。

あわせて、どんなテストを作りたいかを伝えます。 操作手順を一つずつ書く必要はありません。 テスト対象のサイトと、何を確認したいテストなのかを伝えれば十分です。



送信すると、Claude CodeがMagicPodの操作を始めます。 「Called MagicPod 9 times」は、MagicPod MCPの機能を9回呼び出したという意味です。

AIエージェントが画面を見ながらステップを組み立てる

作業中の画面では呼び出しの回数だけが表示されますが、ctrl+oキーを押すと、何を呼び出したのかを展開して確認できます。



Claude Codeはまずテストケースを作成してクラウド上のブラウザを起動し、そのあとは次の3つの手順を繰り返しています。



  1. 画面を取り込み、ボタンや入力欄などの要素を把握する
  2. 把握した要素を使ってステップを追加する
  3. 追加したステップを実際に動かし、想定どおりに進むかを確かめる

人がMagicPodでテストを作るときも、画面をキャプチャして要素を選び、ステップを追加して実行する、という流れで作業します。 AIエージェントもこれと同じ流れで、MagicPodの機能を使ってテストを組み立てています。 適宜作成中のテストを部分実行して確かめながら進めてくれるので、作ってはみたものの動かない、という状態になりにくい作り方です。

作成結果の報告を読む

作成が終わると、Claude Codeが結果を報告してくれます。



報告には、テストケースのURLと作成したステップに加えて、「決めたこと」が並んでいます。 AIエージェントに任せるときに、特に目を通しておきたい部分です。

今回の例では、プロジェクトにログイン用の共有ステップがあることを見つけたうえで、あえて使わなかったと説明しています。 中身が「ログインリンクが表示されていたらログインする」という条件分岐になっていて、ログインそのものを確かめるテストには合わない、という理由です。 ほかにも、ログインに使うユーザーの選び方や、毎回ログアウトした状態から始めるための設定変更など、作成中に判断したことを理由とあわせて書いてくれています。 判断に納得できないところがあれば、続けて「共有ステップを使って作り直して」のように頼めば直してもらえます。

MagicPodの画面で確認する

報告にあるURLをMagicPodで開くと、テストケースが実際に作られていることを確認できます。



AIエージェントが作ったテストケースは、意図どおりになっているとは限りません。 操作手順や確認している内容が想定どおりかを、人の目で一度確認しておくと安心です。 気になる箇所は、このあと紹介する方法でAIエージェントに直してもらうことも、MagicPodの画面で直接直すこともできます。

Step2: 作ったテストを実行する

同じ会話の続きで、作ったテストの実行も頼めます。



Claude Codeはテストをクラウドのブラウザで実行し、何を確認できたのかとあわせて結果を報告してくれました。 実行結果のURLも教えてくれるので、詳細を見たいときはMagicPodの画面で確認できます。

報告の最後では、テスト設定を使った一括実行もできることを案内してくれています。 「テスト設定2で一括実行して」「前回の一括実行で失敗したテストだけ再実行して」のような頼み方もできます。 テストが失敗した場合は、失敗したステップとその原因を調べてもらうこともできます。 失敗の調査をAIエージェントに任せる具体例は、「【MagicPod MCP Server活用】毎朝のCI失敗の調査をAIエージェントに任せる」で紹介しています。

Step3: 既存のテストを編集する

MagicPod MCPでは、新しく作るだけでなく、既存のテストケースを編集することもできます。 ここでは、さきほど作ったテストに確認項目を1つ追加してみます。



テストケースのURLと変更したい内容を伝えると、Claude Codeは会員ランクの確認をステップ8として追加しました。 追加したあとはテストを最初から通しで動かし、成功することを確かめています。 報告には変更後のステップ一覧と、会員ランクの要素をどのロケータで探しているかも書かれているので、どこが変わったのかをすぐに把握できます。

編集を頼むときも、テストケースのURLを渡すと対象を取り違えにくくなります。 運用中のテストを直接編集するのが不安な場合は、「ブランチを作ってから編集して」と頼むこともできます。

仕様書を読ませて、影響のあるテストケースをまとめて直す使い方もあります。 その流れは「MagicPod MCPとAIエージェントで実現するAIネイティブなE2Eテストワークフロー例」で紹介しています。

Step4: 不安定なテストを見つけて直してもらう

テストは作って終わりではありません。 運用を続けていると、成功したり失敗したりする不安定なテストが出てきて、その調査と修正に時間を取られることがあります。 ここでは、MagicPod MCPを使って不安定なテストを見つけ、直してもらう例をご紹介します。

成功したり失敗したりしているテストを探してもらう

まずは、どのテストが不安定なのかを探してもらいます。



Claude Codeは直近50回分の一括実行をさかのぼり、不安定になっているテストを見つけました。 失敗した回ごとに止まった場所を表にまとめ、原因の見立てと直し方の案まで示しています。 ずっと失敗し続けているテストは「不安定ではないが気になるもの」として分けて報告しているので、対応の優先順位も考えやすくなっています。 自分で同じことを調べようとすると、一括実行の結果を1件ずつ開いて見比べることになるので、まとめて頼めるのは助かります。

壊れやすいロケータを直してもらう

ロケータは、ボタンや入力欄など、画面上の要素を見つけるための目印です。 画面のちょっとした変更で目印が変わってしまうロケータを使っていると、要素が見つからずにテストが失敗しやすくなります。 さきほどの調査でも、ロケータが文字の完全一致で要素を探していたことが不安定さの原因として挙がっていました。

不安定になってから直すだけでなく、不安定になる前に点検してもらうこともできます。 ここでは、やってみる①で作ったテストのロケータを点検してもらいます。



Claude Codeはテストケースのロケータをすべて見直し、壊れやすかった2つを置き換えました。 たとえば「ページ内の最初の見出し」を指すだけだったロケータを、「マイページ」という見出しの文字をもとに探すロケータに変えています。 直したものごとに修正前と修正後、理由が並んでいるので、レビューもしやすくなっています。 直さなかったロケータについても、固定のIDを使っていて安定している、と理由を添えて報告してくれました。

こうした点検をAIエージェントに頼めると、不安定なテストへの対応にかかる手間を減らせます。 修正したあとは数日分の実行結果を見て、テストが安定したかを確認しておくとよいでしょう。

うまく頼むためのコツ

ここまでの例をふまえて、AIエージェントにうまく頼むためのコツを4つご紹介します。

URLを渡す

組織、プロジェクト、テストケース、実行結果を指定するときは、MagicPodのURLを渡すのがおすすめです。 名前で伝えるよりも、対象を正確に特定できます。

確認したいことを具体的に書く

「正常に動作することを確認する」のような書き方では、AIエージェントは何を確認すればよいのかを判断できません。 「マイページにログインしたユーザーのメールアドレスが表示される」のように確認したい内容を具体的に書くと、意図に近いテストになりやすくなります。

分からないことは質問させる

AIエージェントは、情報が足りないときに推測で補ってしまうことがあります。 次のように一言添えておくと、推測で進める代わりに質問してくれます。

不明な点や曖昧な点があれば、推測せずに質問してください。

作ったテストは人がレビューする

AIエージェントが作ったテストケースは、操作手順、確認内容、共有ステップの使い方などを人が確認しておきましょう。 作成直後に成功しても、しばらく定期実行して結果が安定しているかを見ておくと安心です。

このほか、Excelなどで書かれた手動テストの仕様書を読ませて、テストケースをまとめて作ることもできます。 仕様書の書き方のコツは、ヘルプセンターの「MCPサーバーでのテストケース作成に適したテスト仕様書の書き方」にまとまっています。 そのまま使えるプロンプトの例は「生成AI関連機能 プロンプト集」で紹介しています。

MagicPod Autopilotとの使い分け

MagicPodには、テストケースの編集画面からAIにテストの作成や編集を頼めるMagicPod Autopilotもあります。 どちらを使うか迷ったときは、次の表を目安にしてください。

MagicPod MCP MagicPod Autopilot
使う場所 普段使っているAIエージェント MagicPodのテストケース編集画面
準備 AIエージェントへのMCPの設定が必要 生成AI機能を有効にすればすぐ使える
AIクレジット 消費しない 消費する
向いている使い方 複数のテストをまとめて作成、編集、実行する。仕様書や他のツールの情報を参照する 開いているテストを画面で確認しながら少しずつ直す

2つを組み合わせて、MagicPod MCPで大枠を作り、Autopilotで細部を調整する使い方もできます。 詳しくはヘルプセンターの「MagicPod MCPサーバーとMagicPod Autopilotの違いと使い分け」をご覧ください。

まとめ

本記事では、Claude CodeとMagicPod MCPを使って、会話しながらテストを作成、実行、編集する流れをご紹介しました。

  • 最初は「MagicPod MCPでテストを作りたい」と話しかけるところから始められる
  • 組織、プロジェクト、テストケースはURLで渡すと正確に伝わる
  • AIエージェントは画面を取り込み、ステップを追加し、動かして確かめながらテストを組み立てる
  • 作成だけでなく、実行、編集、不安定なテストの点検と修正も頼める
  • AIエージェントが作ったテストは人がレビューする

まずは、普段使っているプロジェクトで1件、AIエージェントにテストを作ってもらうところから試してみてください。 慣れてきたら、CIの失敗調査や仕様変更への追従のような、より大きな作業を任せることもできます。 その例は次の記事で紹介していますので、あわせてご覧ください。

MagicPod MCPとAIエージェントで実現するAIネイティブなE2Eテストワークフロー例
MagicPod MCPとAIエージェントで実現するAIネイティブなE2Eテストワークフロー例

【MagicPod MCP Server活用】毎朝のCI失敗の調査をAIエージェントに任せる
【MagicPod MCP Server活用】毎朝のCI失敗の調査をAIエージェントに任せる


エバンジェリスト 伊藤由貴

エバンジェリスト 伊藤由貴

2012年に第三者検証会社へ入社。システムテスト自動化ツールの開発や導入支援を経て、専門チームを立ち上げ「テスト自動化エヴァンジェリスト」として活動。これまでに500人以上へレクチャーし、20社以上のテスト自動化を支援。人生で書いたブログは1000本以上で、登壇や執筆で多くのエンジニアのキャリアや考え方に影響を与える。『ソフトウェアテスト技法練習帳』共著、JSTQB AL テスト自動化エンジニアシラバス翻訳グループメンバー。
見た目通りギャンブルには弱いが、間違い探しと頼まれごとにはめっぽう強い。趣味は囲碁と文具。本は買って満足するタイプ。

X:https://x.com/yoshikiito
LinkedIn:https://jp.linkedin.com/in/yoshiki-ito-baa154120