テスト管理ツール比べてみるまで帰れま10+6！【後編】
こんばんわ、こんにちは、ファンズの中の人・SHIOです。
前編よりだいぶ期間が空いてしまい申し訳ございません(深々)というわけで、小気味よくテスト管理ツール比べてみました！の後編に行きましょう・・！
前半はこちら・・・
※注意※※※※※※※※※※※※※※※※※※※※※※※※※※※※
本記事では、各テスト管理ツールの優劣を評価するものではなく、あくまでもフラットに見た時にこういうツールなんだなぁ、というものを一個人として、主観的に見たものとなります。また熟練の人と比べ習熟度やプラン等により意見の差異があるかと思いますので、そういった点につきましては予めご了承くださいませ。(間違ってたらやさしく指摘いただければ幸いです) ※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※
まず前編でもいくつか紹介していきましたが、後編では紹介しきれなかった分をご紹介して参ります。
ピックアップしていたツールはこちら
cat -キャット-
第三者検証でも有名なSHIFT社が提供・開発するテスト管理ツールです。私も以前(クラウド版が出る出ないあたりのころ)使ったことがあり、懐かしい気持ちで試用していました。
エクセルやスプレッドシートベースなツールのためスプシ運用等されているチーム・会社には親和性の高いツールとなります。
前はなかったFreeプランが、今はできているので私は感動しています！
プロジェクトの進め方と設定
まずcatには大きくプロジェクトという概念があり、それに対してスコープや仕様書(いわゆるテスト設計シート)を紐づけて行く形です。
そのプロジェクトの中で「スコープ単位」でプロジェクトを進めるのか、「スケジュール単位」でプロジェクトを進めるのかによって設定を変える必要があります。(通称:開発モード設定)
前者を「プロジェクトモード」とよび後者を「工程モード」と呼びます。
ここで考えたの「プロジェクト」の概念をプロダクト単位にするか機能開発等の「プロジェクト」単位にするか設計が必要がありそうかなという点です。
試用される際はどのように作り込むかも考えられることをオススメしたいです。
プロジェクトをまたいでの仕様書の移動ができないため、「工程モード」で試用し、本件については工程モード前提でお話致します。(共通のところも多いですが念のため)
テスト仕様書
テストケースを記載するシートです。見た目はエクセル風でもちろんシート追加もできます。仕様書を増やすという発想ではなくシートを追加していく運用です。1行1ケース(OK/NGを記載する単位)で大項目や小項目なとのヘッダー指定も可能でした。
個人的に特徴的だなぁと思ったのは、OK/NG欄の列を増やせること。
例えばPC/スマホや各ブラウザで同一のテストをしたい場合には便利だなぁと思いましたね。(今までみたツールではできなかったため)
テスト実行
仕様書を開いてそのままテスト実行開始できます。
OK/NG/(スキップ的な概念もあったはずです) をクリックで切り替えていきサクサクテスト結果を入力することができます。
感想
冒頭にも記載しましたが、スプレッドシートスタイルなのでエクセル等との親和性が高く今までエクセルを使ってきたユーザーには良いと思います。(インポートも可能です)
後はモードやプロジェクトの切り方など、仕様書の使い勝手以前に運用で決めるべきポイントが数か所あるため、まずどのように運用したいのか、できるのかをしっかりと試用して決められることをおすすめしたいです。
なお不具合の管理機能も持っているのでCat上で管理も可能ですし、BTSツールとの連携も可能でした。
Quality Forward
第三者検証でも有名なベリサーブ社が提供・開発するテスト管理ツールです。こちらは唯一商談をさせて頂いた企業となります。
営業の方もサポートの方も本当に親身になってくださり感謝でした。(私自身が営業・サポート経験があり、お心遣い染み渡っていました。)
試用アカウントを発行頂いたのち、ヒアリングor操作不明点のレクチャーor基礎操作のレクチャー等様々ご対応いただけました。
大きな概念としては、テナント>プロジェクト>テストフェーズ>テストサイクル≒テストスイート 順で概念が成り立っていました。
この概念を実運用とどう絡めて使うべきか、という点をよく考えました。また、自分たちの運用の中で特殊なケースの作り方、組み合わせ方、運用の仕方をしているものはないか、という点についても検討し、このシステムとの親和性を測っていきましたので、リプレイスの場合も是非運用部分と照らし合わせて見ることをおすすめしたいです。
テストスイート
テスト設計を実際に行うものです。ステップ単位で格納し、毛色の違うテスト等を区切る場合は、別のテストスイートをたてます。テストスイート自体には複数の列がデフォルトで用意されていますが、そのラベル名も変更が可能でした。(つまり好きなようなフォーマットで作れます)。UIとしてはExcelライクです。そのため、Excel・スプレッドシート利用者からの利用先としては親和性が高いと思います。また、実行画面をテストサイクルと呼び、テストサイクルで実行を行うようでした。。
テスト要求ツリー
テスト要求を洗い出すための機能が備わっています。テストの要求を洗い出し、テストケースに紐付けることでテスト要求を満たしたテストの作成を補助していきます。これは主には2階層の設定が可能です。
テストフェーズ
期間を設定できる概念です。Sprint等の概念を適用するとわかりやすいと思います。
感想
Excel等に慣れている人は特に利用しやすく細かく設定もできるためカスタマイズもし易い作りだと思います。
また日本製ということもありサポートやUIも日本人には特に馴染みやすいのではないでしょうか。私は個人的に結構好きでした。ダッシュボード機能に今回はあまりふれていませんが、当日の進捗などが終えるので管理者目線としてもチーム全体を見渡したいプレイヤーの方にも良さそうと思いました。
一方でこうして欲しい的な要望もありサポートの方にお伝えしたところいくつかはロードマップに載っている機能ということなので、もしかしたらすでに実装されたか近々実装されるかもしれませんね！
Practitest
手動テストと自動テストの一元管理をコンセプトにしているのがPractitestです。自動テスには今回ふれませんが様々な連携方法があるので是非気になった方は実際に連携をしてみて自動テストの試用をしてみると良いと思います。
要件
テスト要件・ユーザーストーリーをまとめる必要がある場合、こちらでまとめで管理かする事ができます。タイトルや説明など基本的なものが入力できその他選択肢もカスタマイズして利用することが可能です。もちろん要件に対してケースの紐づけや不具合の一覧を確認することが可能で、結構便利ですね。
テストライブラリ
テストケースの作成など管理を行うことができます。
テストケースの書き方はテストtypeにもよりますが、スタンダードなものだと、Step単位に確認項目と期待値をそれぞれ記載することが可能です。各入力項目がエディタースタイルなので文字装飾が可能となり便利でした。(ただし、画像添付はコピペではできず、画像アップロードをする手順をはさみます。)
テストセット&実行
テストケースをまとめたテストセットを作成し、テストセット単位での実行を行うことができます。
読むより見たほうが早いという真実↓
感想
個人的には全体的になかなか好みでした！！いろいろなシステムを見てきた中でも現行の運用をほぼそのまま移行でき、悩まずにできそうというのが大きなポイントでした。(自動化も視野に入れているならばよりポイントは高そう)あとは初見は多分「？？？」となりますが、10分ほど触れば、「なるほど、わかりやすい」となるはずです。また日本語化も少しずつ対応されている点も好印象でした。(英語のままでも良いのですが、新しい方等にも優しいのはやはり日本語かなと思っているためです)
ただ保存や変更ボタンに近い存在のボタンに色がついておらず「どこ・・」となることがあったのがUI上惜しい点でした。各テストの進捗も数字で終えるためプレイヤー自身も管理者も把握し易いのも良さそうと感じました。
褒め過ぎてますが、個人的には結構ときめきました(二度目)
Test collab
テストケース
一般的なテストケースと同様ステップかつ確認項目・期待値の組み合わせでの記載が可能です。並び替えやステップのコピーの機能もついているため、特に不便もなくケースの作成は行えると思います。タグ機能もあり、タグ単位で検索もできるので、機能単位やスコープ単位でタグ付けするのも良さそうだなと思います。
テストスイート
ここでのテストスイートは私が求めるグルーピングではなく単なるフォルダのような役割でした。フォルダに対して一意のURLがつかないため、「テストスイートにアクセス」ということはできず、シンプルな「フォルダ」としてテストケースをグループ化する役目をもっているようです。
テストプラン
目的を持ったテストケースのグループを作れる機能でした。(私のほしかったグルーピングはこちらに該当します)。テストプランではConfigurationsの割当、開始/終了日の記載などができ、そのテストプランに紐づけたケースを対象のユーザーにアサインすることができました。
その他
要件やConfigurationsを作成し、テストケースやテストプランに紐づけることが可能となり、基本的なテスト実施は行える印象がありました。
Helpで結構詳しく分かるので以下に置いておきます。
感想
基本機能は揃っているので、すぐにツール導入したいチームには良さそうだなぁと思いました。テスト管理ツールとしてはなかなか基本を抑えている印象ですが、それ以上のことをやりたい、複雑なことをやりたいと思ったときにいま一歩カスタマイズしきれない印象がありました。細かな痒いところに手が届く機能は多いので、私が追いきれていない可能性はありますが、是非自分たちの「今後」やりたいことも満たせるのか、という観点で試用頂くと良さそうに思います！
Spira Test
日本ではあまり有名ではない印象があるSpiraTestですが、海外では結構使われている様ですね。私も色々なツールを調べていて出会ったなかの一つでした。
UIはやや「あ～、海外の業務システムっぽ～い」という感じがほりかにします。日本だとあまり見慣れない感じかと思いますが、流石にグラフ等の統計は見やすく「おお」と思った記憶があります。
また、SpiraTest自体は、Spiraシリーズの1翼なので、他のものと組み合わせて使うことでより強固に利用できるそうです。(残念ながら他のツールを試用していないので、受け売りではありますが。。)
ケースの作成前に色々プロジェクトの設定を細かに決める必要があります。組織の運用方法や開発手法に合わせてポチポチと選択していってください。
テストケース
テストケースの入力は、今まで触ったツールとは少し異なっており、Step単位で「編集ボタン」を押下する必要のあるタイプのUIでした。編集ページ開けば、そのまま各stepを自由に増やして入力していた人たちからするとやや使いづらいと考えてしまうかもしれません。その分、エディター機能は豊富に実装されており表現の幅は自由でした。
テストケース自体にも様々な付加機能がついているためその辺も少し触ってみることをおすすめします。
テストセット
テストケースをグルーピングする概念です。テストセット単位でのアサインや、テスト実行結果もテストのセット側から確認することができます。テストセット自体のステータスも持っており、実行中のケースとは別に管理することで現在のテストセットステータスがテストサイクルのどこにあたるのかを的確に判断できるのは、やっぱり大事な機能だなぁと思いながら試用していました。
テストラン
テストケースの実行を行う概念です。テストランでは、実際の進捗状況のサマリ及び詳細ではテストの実行が可能です。もちろんテストケースのステップ単位でOK/NG(及びその他ステータス)の判定ができますので、テスト実行もスムーズかと思います。また、テスト実行開始後に修正が必要な場合もあると思いますが、機能として編集が可能であれ、テスト実行中のトラブルにも柔軟に対応できる仕組みでした。(自動テストの連携も可能だったので、試せるならやってみたかった・・)
感想
基本的な機能は満たしており、この機能便利！と言った機能も大変多いツールでした。ただUIがやや分かりづらく、ちょっと直感的に作業するのは難しいかも・・と思ったのも事実です。あと、他のツールもじりじり値上げをしたりしていますが、このツールは初回検討時から比較的高めの価格帯かなぁという印象ですね。ただ、そのぶん機能はかなり豊富なため、チーム規模が大きかったり自動テストを入れても十分耐えうるレベルかと思いました。フリートライアルもあるので是非！
QADeputy
概念の構成としては、プロダクト>テストスイート>テストフューチャー>テストケースでした。左にグローバルメニューを備えたテスト管理ツールです。割と展開を多用している感じがありますが、スッキリとしていて個人的には好きなツールでした。フリートライアルもあるので是非確認してみてください。また日本語での記事があまりなかったツールでもあります。
テストケース
ステップ型とテキスト型(1つだけ記載するタイプ)の2つのフォーマットから選択してケースを書くことができます。エディター機能がかなり豊富で、表現豊かにかけます。(表はかけず・・(残念))
ステップの追加も同画面内からポチポチ記載することで追加できますし、ケース記載はスムーズかと思います。
テストスイート
テストスイートでは、テストスイートに紐づくテストフューチャーやテストケースのサマリーを管理・確認することができます。
テストケースの作成・編集もテストスイート直下で実施していきます。
テストフューチャーは、テストケースをくくる概念です。使い方的にはフォルダに近いと思いますが、それ以上の階層構造は作れません。そのため、どの単位で区切って利用するか検討が必要ですね。
テストラン
テスト実行を行いたいテストケースを紐づけてテスト実行を行う概念です。テストランの新規作成では、テストフューチャー/テストケースを紐づけて作成をしていきますが、他のツールと違うのは「プロダクト」という1つ上の概念自体も選択が可能な点です。(これは、テストランにかぎらずすべての機能でそうです)通常は、プロダクト(やプロジェクト)を指定するとその直下のものを管理していく思想が多いのですが、本ツールではあくまでも契約という大きな単位でくくっているので、複数のプロダクトがツールの中で混在します。(テスト実行の単位は、1プロダクト単位ではありますが、「テストラン」という一覧には、複数のプロダクトのものが並ぶイメージ)それが煩わしい場合もあるので一長一短ですが、「これは珍しい」と印象的でした。
感想
とにかくシンプル。シンプルが大好きな私には結構刺さるツールでした。シンプル故に高機能ではなく、管理者がもとめるようなダッシュボード機能等はないものの、近しいサマリーレポート機能はあります。
またカスタマイズ力がやや弱いと感じていますが、基本的な項目は抑えられているようにも思います。純粋にテストケースを管理したい！！テスト管理ツールをとりあえず導入してみたいぞ！という方には結構おすすめできるかと思います。
TestLodge
こちらもあまり聞いたことがなかったテスト管理ツールでしたが、導入実績みるとFUJIFILMさんなども使われており、結構有名所？のようでした。
上記サイトに訪れた方は分かるのですが、テスト管理ツールのサイトでは珍しくテストに関するコラムが非常に多い印象があります。タイトルが結構面白く、読み物として結構良さそうと思っているので私もあとで読もうと思っています。
では本題に・・
テストケース
stepと言う記載はありますが、1ケース:1期待値のみの作りをしていました。(他のツールだと、1step:1期待値で複数のステップが記載できる)1ケースごとにケース追加が必要なため他のテスト管理ツールとはやや違う印象です。
また、エディタ機能もなく本文中に画像は挿入できませんが、ファイル添付する機能はありました。
テストスイート
テストケースを集約する概念です。テストスイート直下でのみテストケースを作成することが可能な作りになっています。
テストラン
作成したテストスイートを実行用に作成するのがテストランの概念です。テストプラン・テストスイート及びテストケースとの紐づけを行えます。
テストラン作成後は、テスト実行状況のサマリーを確認することが可能です。・テスト実行画面では1問1答形式で表示するため、別ステップを先にやりたい等の場合はやややりづらいかもしれないので、気にする場合は必ずトライアルでご確認ください。
導入動画もありました！
感想
ものすごいシンプルなテスト管理ツールでした。カスタマイズ性はあまり高くなさそうでしたので、運用が定まっていない・ちょっとテスト管理ツール使ってみたい、という方たちには良さそうです。逆に細かい運用が決まっていると、なかなかFitしない気がします。
Qase
これも正直聞いたことがなく、「そろそろピックアップしたツールも増えてきちゃったし終わるか・・」と思っていたまさにその時、見つけたツールです。2020年にローンチしている比較的若いツールですが、基本機能は結構抑えられていました。
テストケース
テストケース自体は、リポジトリの概念の中に収納されており、それをテストスイートというフォルダの概念でくくることができます。
テストスイートの階層は少なくとも3階層以上は掘れることを確認できているので、便利に使うことができます。
テストケースの入力画面ではテストケースの入力形式を選択できます。(Step型と自動化用の入力形式)
エディタ機能もあり、表の挿入や画像のコピペも可能です。基本的に表現したいことはストレスなく表現できる作りになっていました。
テストプラン
作成したテストスイートを更にまとめる概念がテストプランです。テスト実行単位にすることができます。AスイートとBスイートを1つにしたテストプラン、みたいなイメージです。他のツールと異なるのは、このテストプランの画面内でテストランを作成できる点です。そのまま流用することもできますし、テストケース内容を変更することもでき地味に便利でした。
またテストラン自体がテストプランに紐づけされるので複数のURLを把握する必要がなく、テストプランのURLさえチケットに貼っておけば、完結するのが魅力的でした。
テストラン
テストの実行・管理をする画面です。テスト実施者をアサインしたり、どの程度時間かかったのかNGはあるのかなどのサマリーを確認することと、実際のテスト実行が可能です。
テスト実行画面もシンプルかつ万が一のときの編集も可能で使い勝手が割と良さそうかと思いました。
マイルストーン
期日設定や何かしらの納期設定を利用したいときに日程を設定とマイルストーンのステータスを設定できる機能です。(設定したマイルストーンをテストラン等で設定していくイメージとなります)
感想
ローンチしてから2年程度でここまでのクオリティを持ってくるのは心底凄いなと思ってしまったテスト管理ツールです。正直ものすごい高機能なわけではありません。(プランを上げればより多機能にはなっていきます)が、それでも使いやすさと現行の運用を持ってこれそうな点、またリプレース前のテスト管理ツールからのインポートが(ちょっとややこしいフォーマットはありますが)可能な点が魅力的でした。
最上位のプランにするとレビュー自体が機能として提供されるのでなかなか気になっています。
こちらもトライアル可能ですので是非使ってみてください。
最後に
テスト管理ツール比べてみるまで帰れま10+6！の【後編】はいかがでしたでしょうかー！！
前編からかなりの月日を要してしまい大変申し訳ない限りでした(土下座)
たくさんのツールを触ってきたのですが皆思想や概念がそれぞれ違うので「当たり前」がかなり少ないのがテスト管理ツールの特徴なのかなぁとうっすらと思っています。選定の際は、自分の「当たり前」をきちっと持って触らないと導入後にこまることがあるとしみじみ思いました。。(流石に「テストケースが作れる」というのは当たり前でしたが。。)
また、料金体系にも穴があったり(人数が増えると自動的にプランアップしないといけないとか)したので、是非、機能の部分ともにらめっこして決めていただければと思います。
え？当社はどこに決めたのか？
前編・後編から私が3つをピックアップし、その後チーム内で触ってもらい意見出しをしました！「この場合はどうやって使う？」みたいな現行の運用についても再度話して決まったのは、なんと・・「Qase」でした。
まさか一番最後にたまたま見つけたものを導入するとは・・。
Qaseも完璧なツールではないですが、今のところ運用にすぐ乗せることができ支障なく利用しています。海外ツールが多いので導入している企業さんは染みてそうではありますが、「円安(´；ω；｀)」という気持ちで請求書を見ています。
さて話が横道にそれてしまいましたが、これにてテスト管理ツールの独断と偏見の比較記事はおわります！
テスト管理ツールってどんなのがあるのかわからない、探すのも大変だよー!!と困っているQA関係者の一助になれば幸いです！
お決まりの宣伝
私が働いているファンズ株式会社では、【QAエンジニア】を大募集しています！
※ 会社や開発チームのこと聴きたい！という場合は、上の応募フォームにて「カジュアル面談希望」と記載いただければ、当社CTOからめちゃくちゃラフにカジュアル面談のご案内させていただきます！！
QAするのが好きな人。手を動かしてテストに燃える方、いろいろいるかと思います。是非私とともにQAチームを作っていきませんか・・！
QAについて聴きたい人は、Meetyも用意しているので是非こちらからどうぞ↓↓↓
それでは、皆様また次の記事でお会いしましょう～！
ここまで読んでいただきありがとうございました！
SHIO@ファンズの中の人