目的のはっきりしないテストをしてはいけない

目を通しているブログの一つにゲームキャストブログというブログがある。それに気になる記事が掲載されていた。

インディーゲーム開発者に贈る、α・βテスト実施のポイント初級編。そのテスト、目的が決まっていますか？

テストを簡単にするなという内容の記事だが、この書き方は優しすぎる。
目的のはっきりしないテストをしてはいけない。

なぜなら２つの無駄遣いがあるからだ。

１番重要なのが、新しいテストユーザーは非常に重要で限られたリソースということ。
プロの世界でも条件を絞ると集めるのに苦労することがあり、コストもかかる。広報上の必然でもない限り、何度も本当のテストをやれることは少ない。
ましてやインディーズにおいて、新しいテストユーザーを集めるのが難しいのは明らかだ。
目的のはっきりしないテストで無駄使いはありえない。

２番目は作る側の無駄だ。
目的のはっきりしないテストをするために作る側が用意するものは結構多い。そして目的がはっきりしないテストでは時間をドブに捨てることになる。

では、目的のあるテストを作るにはどうすればいいのか？

テストで何を知りたいのかを、具体的に文章にする。
出来れば箇条書きになっていて、出来るだけ具体的なのが望ましい。

・初めてプレイしたプレイヤーがルールを５分以内に把握している
・特定の操作を3回以内に覚える
・8面までプレイできる人がテストプレイヤーの70%以上

これぐらいまで具体化出来ればテスト出来るし、これぐらい具体的なテスト目標がないなら、テストなんかするべきではない。
なぜなら、最初に書いた通り無駄になるからだ。