QAによるハーネスエンジニアリングとQA組織の未来像
こんにちは、MagicPodメンバーのIkariです。
今回は、株式会社TOKIUMの西田 泰明さんをお迎えし、「QAによるハーネスエンジニアリングとQA組織の未来像」をテーマに開催されたオンラインイベントのレポートをお届けします。
生成AIの普及やテスト自動化の進展に伴い、開発とQAの境界が変わりつつある中、TOKIUM社が取り組む「QAによるハーネスエンジニアリング」の実践事例や、QA組織の未来像について、弊社エバンジェリストの伊藤とともに深く掘り下げていきました。
目次
スピーカー
- 西田 泰明 氏 ｜ 株式会社TOKIUM QA
電気通信大学大学院卒業後、2013年から株式会社ベリサーブで第三者検証に従事。2021年に株式会社BearTail（現TOKIUM）に一人目QAエンジニアとして参画し、全プロダクトのQAをしながらQA組織を立ち上げる。
- 伊藤 由貴 ｜ 株式会社MagicPod エバンジェリスト（@yoshikiito）
TOKIUMにおけるハーネスエンジニアリングの挑戦と課題
TOKIUMのプロダクトとテストの難しさ
まずは、TOKIUMにおけるプロダクトの特徴やQAの背景についてお話しいただきました。TOKIUMでは、支出管理クラウド（SaaS）と、それと紐づく経理AIエージェントを提供されており、相互に連携する複雑なプロダクト群をテストするにあたり、主に次の3つの難しさが存在するといいます。
- プロダクト間連携：連携が多く、1つの修正が及ぼす影響範囲が広く複雑。
- 金額計算：経理業務を扱うため、1円のミスも許されない。
- 会計データの形式：会社ごとに形式が異なり、どれでテストするか選びきれない。
ハーネスエンジニアリングの導入と5か月の成果
2026年3月当時、Claude Code等の普及によって開発スピードが爆発的に向上する中、手動中心のQA工程がボトルネックになり、リリースが滞る懸念があったといいます。そのような状況下で導入されたのが「ハーネスエンジニアリング」でした。
「AIに何を問うか」という従来のプロンプトの工夫から一歩進め、「AIが正しく動く環境やルールをあらかじめ整える」というアプローチへと舵を切った西田さん。仕様や過去のテストをナレッジ化し、自動チェックの仕組みや実行土台を構築することで、テストを回すほどにテストケースやコードなどの資産が積み上がる仕組みを運用されました。
その結果、5か月の運用でナレッジベースは128ファイル（約9MB）へと拡大し、生成されたテストケースは6,400件超、Playwrightコードも600件以上に達したとのことです。
課題の浮彫りと「作り直し」の決断
順調に資産が積み上がる一方で、長期間の運用により「テスト所要時間の肥大化」や「ハーネスに対するIssue・PRの滞留」といった情報汚染の課題が表面化したといいます。ナレッジの棚卸しを行った結果、ルールの散在や陳腐化した記述の放置、異なるプロダクトの前提を誤って読み込んでしまう誤適用などの問題が判明しました。
修正して使い続けるか、ゼロから作り直すかの比較検討の末、西田さんは「新しい場所で作り直す」という決断を下します。
「もしハーネスが正常だと検知していても、継ぎ足しの結果として情報汚染が進んでいるなら、一度立ち止まって棚卸しやリファクターを行う基準を持つことが重要です」と、西田さんは振り返ります。
パネルディスカッション：QAハーネスの展開と、AI時代のQAの存在意義
後半のパネルディスカッションでは、弊社エバンジェリストの伊藤がファシリテーターを務め、「現場への展開」と「QAの未来像」の2つのテーマを深く掘り下げていきました。
1. QAハーネスを広げる過程の実際
構築したQAハーネスを、QAメンバー以外（開発者やPDM）にどのように展開し、受け入れられていったのか、その実態が語られました。
「QAの工程でリリースが滞るのを防ぎたい」という思いは開発側も同じだったため、ツールの導入自体は非常に前向きに受け入れられたといいます。一方で、「自動で出てきたテスト結果やケースを本当に信じていいのか」という心理的ハードルも存在しました。
そこに対するアプローチとして、テスト設計の初期段階で「大まかなテスト観点」を揃えるプロセスを導入。QA側が手元で作った観点と、開発者の手元で生成された観点にズレがないかを比較・レビューし、認識を合わせることで「信頼の担保」と「スムーズなチーム展開」を両立させていると西田さんは語りました。
2. ハーネスエンジニアリングを進めた先のQAの存在意義とは
AIやハーネスによってテストの実行やケース作成といった定型作業（代替型業務）が自動化されていく中で、QAエンジニアの存在意義やキャリアはどう変わるのかという議論が交わされました。
西田さんは、作業から離れたQAエンジニアの主戦場は「判断」にシフトしていくと指摘します。
- Quality Strategist（品質戦略やリスク判断などを担う人）
- Harness Engineer（自動化基盤のレールを作り直す人）
- Quality Coach（開発チームに深く入り込み、作る前から品質を見る人）
など、それぞれの強みに応じた多様な進路が考えられます。QAが誰でも実行できる状態になったからこそ、QAエンジニアは「何をどこまで確かめ、どの水準で守るか」という戦略策定や、仕組み自体を育てる高度な役割へとシフトしていくことが示されました。
Q&Aセッション
Q&Aセッションでは、視聴者の皆様から寄せられたご質問にお答えいただきました。
Q. テストコードの修正はどのようなフローで行うのでしょうか？
「テスト資産化されたコードが失敗した場合は、自動でAIによる探索実行へと切り替わり、成功した結果を新しいコードとして上書き・更新するループを取り入れています」（西田さん）
Q. 手動テストと自動テストで検知力が変わる懸念について、どのように判断されていますか？
「機能テストに関してはエビデンスを人間がレビューしたり、別モデルにクロスレビューさせたりして担保し、自動化に任せています。一方で、UXやユーザビリティといった魅力的な品質の評価は、引き続き人間が担うべき領域として判断しています」（西田さん）
おわりに
AIの進展によってQAのあり方が大きく変わる過渡期において、暗黙知をルール化して組織やAIに継承する「ハーネスエンジニアリング」の挑戦は、多くの現場に大きなヒントを与えてくれる内容となりました。
MagicPodでは、今後もQA・テストに関するイベントを定期的に開催していきます。ご興味のある方は、ぜひ次回もご参加ください！
ご登壇いただいた西田さん、ご参加いただいた皆様、誠にありがとうございました！
