恐るべし。TestArchitect
ライフイズテックで１人QAを担当しているotkyskです。いつもブログをご覧いただきまして誠にありがとうございます。
今回は弊社で利用しているAGEST社のTestArchitectの恐るべし、効果を紹介したいと考えました。
コスト
TestArchitectはプランによってコストが異なりますが、サポートを受ける事なく、同時実行数が最大2、実行時間が上限月50時間と制限があれど、Web上にアップされているリファレンスを把握して、ひたすら実装すればTestArchitectのフル機能を年間0円で利用する事ができます。
実装したシナリオを編集する事、同時実行数、実行時間に制限が無く、ただシナリオを実行するだけであれば年間93,000円で利用する事ができます。
フルサポート、各種制限無し、モバイル端末の自動化を受けるのであれば年間498,000円で利用する事ができます。
弊社での自動テスト事情
弊社のリリースサイクルは1プロダクトで2週間に1回のリリースで、自動テストを利用するのはリリース前のリグレッションテストで使うだけで、2プロダクトでの自動テストの実行時間が1リリースで4時間なので月〜10時間もいかないです。
新機能がリリースされてから、新たにリグレッションテストの項目に追加し、尚且つ、自動化する際にかかる時間としては〜10時間ほどなので、前述した年間0円のプランで賄えます。
また、特にテストの期限は1日もあるので同時実行数に制限があれど、期限に迫るような事は起きていません。
弊社プロダクトにおける効果
弊社プロダクトには特に打鍵が多い機能が多数あります。
ライフイズテックレッスンプレイヤー画面は生徒が授業で画面を見ながら学習し、実際にプログラミングをするといったChapterが存在します。ユーザー操作としてはクリック、キーボード操作が多数発生しますが、TestArchitectはinputフォーム以外のキーボード操作を実現できるので、Chapterを難なく進める事が可能です。
学校向け共通テスト模試は本記事作成時点で5回分提供されていて、1回の模試で選択肢が40個ほど存在します。ユーザー操作はクリックのみですが、正解に合わせて選択肢を選ぶ手間が大きく省けて、尚且つ、5回分の模試を解答する事が可能です。
学校向けAIドリルは6カテゴリーの練習問題が存在し、1カテゴリーで平均100問は存在します。また、実践問題はすべてで100問ほど存在します。ユーザー操作はクリックのみですが、正解に合わせて選択肢を選ぶ手間が大きく省けて、1,000問以上を解答する事が可能です。
塾向け共通テスト予想問題は本記事作成時点で8回分提供されていて、1回の問題で選択肢が50個ほど存在します。ユーザー操作はクリックのみですが、正解に合わせて選択肢を選ぶ手間が大きく省けて、尚且つ、8回分の問題を解答する事が可能です。さらに、選択肢の選択漏れによる再解答を防ぐ事もできます。
塾向けAIドリル基礎問題は1~6章まで存在し、章ごとに選択肢の数が異なりますが、最も多くて100個は選択肢が存在します。また、基礎問題は不正解を出すと翌日までに待機するという仕様であるため、手動での選択肢の選び間違いが発生すると、別のアカウントを用意して解答し直す手戻りが起きます。ユーザー操作はクリックのみですが、正解に合わせて選択肢を選ぶ手間が大きく省けて、500問以上を解答する事が可能です。
ハナから結論を書かず、末尾に結論を書く
年間0円でかつ、公式なツールでクリック、キーボード操作、画像判定、文字列チェックと出来てしまうTestArchitectにより、弊社プロダクトの主要な機能のリグレッションテストが自動で実現できた事は効果として得られました。ただし、以前投稿した通り、テストの時間は増えたのも確かです。
ツールの提供が終わるまで酷使して自動テストにかかる時間＞手動テストにかかる時間を維持していきたいと考えています。
現在インフラ/SREグループのメンバーを絶賛募集中なので、ご興味があればぜひご連絡ください！
