リスクベースドテストに使うプロダクトリスクについて

リスクベースドテスト（Risk Based Testing）は、JSTQBのFLシラバスにも掲載されていますが、もう何年も前から、ソフトウェアテストの界隈では主流となる考え方になっています。

簡単にいうと、「テストってなんでも網羅すればよいってもんじゃないよね？たくさんやればいいってもんじゃないよね？」っていう考え方から、「じゃぁ、どこに注力するか？」っていうときに、開発者、QA、テスト担当者、経営者、顧客など、関係者みんなの合意をとりつけるための方法です。

多分、「どこかに注力して、どこかを捨てる」という発想はリスクベースドテストとか呼ばれるやり方が世の中に出てくる前から、私たちの多くが持っていて、何かしらやってきてました。そのやり方を合意を取り付けるところまで体系化して、名前をつけたのがリスクベースドテストの功績なんだと思います。

けど、実際は、書籍などで調べてもちょっとづつ言ってることが違ったりして、Rex Blackと話をした時もStuart Raidと話した時も、「人によってその人たちのリスクベースドテストがあるからなー」というようなことを言ってるくらいなので、そういうアバウトなところがまだ残っているやり方なんだと思います。

リスクベースドテストの基本的な考え方は、プロダクトリスクを洗い出して、そのプロダクトリスクが現実のものになってしまわないようにするための軽減策としてテストを行う、ということです。テストをした結果、問題なく動作することがわかれば、洗い出したリスクは軽減されたと考えます。なので、リスクベースドテストは、合意もさることながら、そのあとのテスト設計の強弱やリスクの軽減までモニタリングするところのマネジメントが醍醐味で、いろいろなマネジメント方法が提案されています。

プロダクトリスクいろいろ

じゃぁ、プロダクトリスクってなんでしょう？ってなるんですね。JSTQBのFLシラバスを見てみると、プロダクトリスクの例として以下の記述があります。

・　故障の起きやすいソフトウェアの出荷
・　ソフトウェアやハードウェアが個人や会社に対し損害を与える可能性
 ・　貧弱なソフトウェア品質特性(例えば、機能性、セキュリティ、信頼性、使用性、性能など)
・　貧弱なデータの完全性と品質(例えば、データ移行問題、データ変換問題、データ伝送問題、データ標準への違反）
・　予定の機能が動作しないソフトウェア
　　　　　　（Foundation Level シラバス 日本語版 Version 2011.J02）

上記が2011年に公開されたシラバスで書かれてる例なんですが、ぶれてるんですよね（笑）。以下の図で見てもらいたいのですが、以下の３つが混在しています。
①開発したソフトウェアを利用するようになってからのこと
②開発したソフトウェアをリリースするときのこと
③開発期間含めたプロダクトの状態のこと

FLシラバスには書いてないですが、④の考え方として、③を引き起こす原因（テストが十分でない可能性とか）をプロダクトリスクと呼ぶ人もいます。

じゃぁどれが正解？

どれもプロダクトリスクと言われれば、「そうなんだー」って思います、私は①の「顧客に迷惑をかける可能性」がしっくりきてました。「組み込みソフトウェアを搭載した製品がリコールになってしまったら」とか、「金額を計算して処理をするソフトの計算が全くずれたまま取引成立してしまったら」とか、たしかにゾーッとするし、そうならないようにテストをするのが真っ当だとおもったからです。

ただ、実際にリスクベースドテストをしようとして、テストするところを局所的に絞り込みたい場合って、顧客への影響よりも、まずは、どんなバグが市場で発生してしまうか？を考えた方がテストへ直結できるのでフィットするんだろうと思います。なので、そう考えると③ですね。私がコンサルをする時も、「今開発しているソフトウェアの起きてはいけない、起こしたくない不具合をみんなで話し合ってください」って言うこともありました。

そこで、2018年に公開された最新のFLシラバスを見てみましょう。こうなっています。

・　ソフトウェアの意図されている機能が仕様通りには動かないかもしれない
・　ソフトウェアの意図されている機能がユーザー、顧客、および／またはステークホルダーのニーズ通りには動かないかもしれない。
・　システムアーキテクチャーが非機能要件を十分にサポートしないことがある。
・　特定の計算結果が状況によって正しくないことがある。
・　ループ制御構造が正しくコーディングされていないことがある。
・　高性能トランザクション処理システムで応答時間が適切でないことがある。
・　 ユーザーエクスペリエンス（UX）のフィードバックがプロダクトの期待と異なるかもしれない。
　　　　　（Foundation Level シラバス 日本語版 Version 2018.J02）

例示されているものが全て③になったんですね。実際FLの責任者のクラウスと話をしたときも、このこと話したら「そうなんだよー」と盛り上がりました。

-----------------

今回のヘッダ画像はここからダウンロードして利用させてもらいました。ありがとうございました。