意地悪テストとは
今日の記事はこの話に近いです。いうなれば「アンチパターンとしての意地悪テスト」です。
意地悪テストというテストタイプを数多くの現場で目にしてきました。なんていうんだろうな。定義の問題でもあるんだけれど、一番は、解像度低すぎやしませんかね、という感じです。
まずは検索してみましょうか。
>わざと通常の運用では考えられないようなことを行い，システムの強さをテストする。（ちゃんとエラーメッセージを返すかなど）
>いじわる試験では、製品が実際に使用される様々な場面を想定し、
誤った使い方、過度な使い方、想定範囲を越える使い方をしたとしても、
壊れたりしないこと、問題が起きないことを確認します。
>意地悪試験とは、お客様の使われ方や市場の環境を考慮した時、それよりも厳しい条件で実施する試験のことです。
なるほどなるほど、実は結構定義が一貫していますね。通常の使われ方を超えた範囲でのテスト、ということですか。キーワードは
・使われ方、場面
・通常を超える、通常より厳しい、誤った使い方
・システムの強さ、壊れないか
あたりでしょうか。解釈すると
・意地悪テストは、ユーザの使い方やユーザが使う場面を想定する
・通常（想定範囲内）の使い方や場面を定義（おそらくユースケースの例外まで「通常」に含みそう）した場合、そこに定義していない条件を作る
・出力側の視点としては、主に可用性の確保やシステムの障害許容性、回復性の確認になるため、信頼性を確認するテストになると思われる
ということのようです。
よって、ISTQB Glossaryにあるテストタイプで言うと、
信頼性テスト/回復性テスト
ぐらいが当てはまるでしょうか。
僕が観測した範囲では、ストレステストのようなものだったり、パフォーマンステストの一部だったりを意地悪テストと呼んでいるところもありました。上記の定義ぐらいの範囲であればまぁいいですが、ストレステストなどを含めるのであれば、別のテストタイプとして定義を分けたほうがいいかなと思います。
また、上記の範囲だったとしても「意地悪」テストだと、いろんな意地悪を含んでしまいそうなので、もう少しよい命名がありそうですね。使われ方範囲外テスト、とか。誰が見てもわかるようなテストタイプ名を付けてほしいものですね。