見出し画像

カオナビQAが取り組む、生成AIを用いた探索テスト

カオナビ技術広報

はじめに

こんにちは、カオナビのQAエンジニアの山下(やまゆん)です！

本日は、カオナビのトキチームで活用している探索的テストでの工夫について紹介させていただきます。
この記事は、探索的テストをうまく適用できずに悩んでいるQAエンジニアやテストエンジニアの方々に向けて、ヒントになればいいなと思って執筆しています。

探索的テストの現状と課題

探索的テストは、特にアジャイル開発では必須の技術となっていると思います。
探索的テストは詳細なテストケースの準備なしでもテスト実行ができるという利点があります。
一方で、本来の探索的テストの強みでもある「テスト設計」や「テスト実行からの学習」の側面で、私は2つの課題を感じていました。

  1. 探索的テストからの気づきの獲得方法

  2.  アウトプットとしての文書化

探索的テストの特徴

探索的テストは、テスト実行とテスト設計を同時に行うという特徴があります。
従来のアドホックテストやモンキーテストと異なる重要な点としては、テスト実行の結果からテストケースを文書化して、そこから学びや気づきを得て、次のテストにつなげるということがあります。

探索的テストは詳細なテストケースを用意しなくとも、テスト実行が可能という側面があります。
これは、テスト実行を担う人の能力が高く、またデリバリーの速さを重視するトキの背景や文化にマッチしているのではないかと考え、取り入れました。

実践してみて直面した課題

探索的テストを取り入れたところ、主に2つの課題に直面しました
1. 品質を保障するという観点から、チーム内で納得感のある形での記述をすることが面倒
2. テスト実行中にテスト条件を記録することが難しい

Web系サービスであるカオナビの場合、クリックや画面入力などの操作が多いです。
それらを記録するために、テストを中断しなければならない点が少しストレスになってしまいました。

解決策：音声入力と生成AIの活用

音声入力の活用

カオナビではGoogle Workspaceを導入しており、Google ドキュメントの音声入力機能を活用しています。
音声入力の文字起こしによって、キーボード操作をなくし、より簡単にできる発話での記述に切り替えました。
精度は完璧ではありませんが、他のツールと比べて、発話内容を漏れなく記録できる点が大きな利点だと感じています。

生成AIの活用

音声入力で記録した文章は、そのままでは他者が理解できる文章にはならないのが現状です。
そこで生成AIを活用し、文章の整形を行っています。
例えば、以下のようなプロンプトを使用しています。

探索的テスト中に音声入力で行い、自動で文字起こしをした文章を提供します。こちらについて修正をお願いしたいです。
用途としては探索的テスト中に感じたことを、他者にも伝わるように文章を修正することです。
以下の対応をお願いします。

* 誤字脱字等の修正
* 句読点と改行の挿入
* 日本語の文法として正しい形に修正

後ほど文章を提供しますので、まずは上記の内容について理解してください。

プロンプトの内容については今後も引き続き見直しをかけて行きたいと考えています。

応用と発展

思考発話法の導入

音声入力の活用により、自然とアウトプットが増えることに気づきました。
そこで、思考発話法を導入しました。
思考発話法とは、ユーザビリティテストにおける最も有名な手法かもしれません。
ここでは発話思考法を応用して、探索的テストで与えられたチャーターやセッションから自分が思ったことを発話によって記録していきます。
こちらについては「帽子をかぶる」という考えが効果的だと思っています。
自分自身がユーザビリティテスターなのか、製品を批判的にみる破壊的なテスターなのかで、発話や思考の内容が変わるからです。

生成AIからの学びの獲得

生成AIでの文字起こしの整形を行っている過程で、自分が気づかなかったパターンやテスト条件のモデリングに活用できることに気が付きました。
生成AIを使用して、テスト条件やテストモデルを獲得して、必要なテストを直接補ってもらったり、
生成AIが出力した内容を、テスター自身が批判的に見ることで新しいテスト条件に気が付くといった発見が見られました。
また、発話の中でメモとして気づいたテストパターンを残しておくことで、生成AIにあとで拾ってもらうなどの工夫をすることが可能になりました。
これらの結果をもとに、さらなる探索的テストに繋げることが可能になりました。

今後の課題

上記の活動はまだ取り組んだばかりではありますが、実施の手軽さから、効果を実感しています。
一方で、さらなる技術向上のために、様々なスキルの向上が必要だと感じています。

  1. 発話スキルの向上

  2. 生成AIのプロンプト技術の改善

  3. 探索的テスト自体の技術の向上

これらの取り組みはまだ発展途上で、全社的な活用には至っていません。
今後さらにブラッシュアップを重ね、進化した内容を発表していければいいなと考えています。

こちらの内容は、スクフェス新潟のプロポーザルとして公開しています。

https://confengine.com/conferences/scrum-fest-niigata-2025/proposal/21822/ai

引き続き、カオナビQAの活動にご期待ください！


いいなと思ったら応援しよう！