UXリサーチの適切なサンプルサイズとは？
最近、私はUXリサーチにおいて参加者の数について考えることがありました。クライアントからの指摘もあり、正確な結論を導き出すためには適切なサンプルサイズが欠かせないことが明らかになりました。
では、その適切なサンプルサイズとは一体何なのでしょうか？この記事では、必要な参加者数に影響を与える要素と、適切なサンプルサイズを計算する方法について調べてみた結果をご紹介したいと思います。
サンプルサイズとは？
サンプルサイズとは、研究や調査において実際に参加する人々の数のことを指します。ある一定の人数のグループからデータを集めることで統計的な分析や一般化ができるようになるので、すごく大事なパーツとなります。
リサーチでは何をするの？
UXリサーチは、製品やサービスに対する人々の感情を理解する方法です。これは、ユーザーに関するデータを収集し分析するプロセスであり、特に使いやすさを測定することに重点を置いています。つまり、意図した目的（ウェブサイト、アプリ、その他のインタラクティブな製品やシステムなど）に対してどれだけ簡単に使用できるかを評価することです。
UXリサーチには以下の要素が含まれます。
アイデアの生成とソリューションのブレスト
市場調査や競合調査の実施
アンケートやインタビューによるユーザーの満足度の評価
なぜ企業はユーザーリサーチを行うの？
開発に投資する前に自身の仮定を検証し、開発に投資する前に自分たちの考えを確かめるためです。これにより、誤った判断による時間とお金の無駄を最小限に抑えることができます。
実際のユーザーから早期のフィードバックを得ることで、想像上のニーズではなく実際のニーズに基づいて反復することができます。これによりデザインサイクルが最大50%高速化され、コストが削減されます。
また自社の製品や同じカテゴリーの潜在的な新製品について、市場調査を行うことで、既存のものを改善し最適化することができます。新しいものをリリースする前に、既存の製品に対する期待に応えることができるようになります。
UXリサーチに関して最もよく聞かれる質問の一つは、「どれくらいの人数の参加者が必要か？」です。
サンプルサイズに影響を与える要素
この決定には多くの要素が影響を与えますが、大切なのは、統計的に信頼性があり意味のある結果を得るためには、最低限必要なサンプルサイズを満たす必要があるということです。つまり、調査をするには一定の人数が必要なんです。
これらの値は、研究の内容や目的、研究手法によって異なります。しかし、どの研究においても、通常は研究の専門家によって見つけられ、証明されたサンプルサイズの「正解」のようなものが存在します。
例えば、迅速に主に定量的なフィードバックを収集するための基本的な調査では、最低でも100人の参加者が必要です。これは、すでに市場に出ている製品デザインの改訂に対する質的な使い勝手テストに必要な最小サンプルサイズ（通常は5人以上）よりもかなり多いです。
そしてもちろん、これらの例の間にはいくつかの他の最小限の基準が存在します。一般的には、ユーザーテストの研究には5人で十分というルールが頻繁に繰り返されますが、実際にはそれほど単純ではありません。時にはその数が12人、25人、あるいは他の何かになることもあります。
リサーチに使えるオンラインツール
いくつかのオンラインツールがありますので紹介します。
UserTesting:
リモートユーザーテストを行うための人気のあるプラットフォームです。参加者にタスクを与え、その実行過程やフィードバックを収集することができます。ビデオや音声の録画も可能です。Optimal Workshop:
ユーザビリティテストや情報設計のためのオンラインツールのスイートです。カードソーティングやツリーテストなど、さまざまなツールを使ってユーザビリティを評価できます。Maze:
プロトタイプをテストし、ユーザーの行動とフィードバックを収集するためのプラットフォームです。迅速なリモートテストやABテストを行うことができます。
これらのツールは、研究の目的やニーズに合わせて選択することができます。オンラインツールを活用することで、リモートで効率的にユーザーテストやリサーチを実施することができます。
サンプルサイズの重要性と影響
私たちは、一定の人数をテスト対象として選ぶことで、システムの利用者数を制限しています。その結果、貴重な情報やデータポイントが見逃され、より深い洞察を得ることができません。
複数の革新的な解決策を比較する際には、精度、速度、使いやすさなどの行動特性に基づいて比較することが一般的です。
成功の本質を完全に理解せずに、どの解決策が最も優れているかを判断するのは難しいです。使用するサンプルサイズは、発見したい変動の大きさによって決まります。
サンプルサイズの計算機
特定の状況で必要な参加者数を知ることは重要です。
"適切な"答えは、予算やリソース、テストされる製品のタイプ、成功の定義など、複数の要素に依存します。
デザインが複雑で変動が多い場合、必要な参加者数が増えます。統計的な有意性が非常に重要です。なぜなら、将来の製品の進化に影響を与える結果を得たいからです。これらの基準を満たさないと、デザイン変更に関する意思決定時に誤解を招く弱い信号になります。
適切なサンプルサイズの提案
UXリサーチのサンプルサイズを決定するためのステップを以下に示します。
問題や研究目的を明確に定義することが最初のステップです。
次に、研究に必要なデータポイントと、それらを利用して解決策を策定する方法を決定します。
与えられた予算やリソースの範囲内で、十分なデータを収集し、十分な解析を行うことができるか確認しましょう。
さらに、地理的な位置や人口統計的な背景の異なる参加者を持つことも役立ちます。これにより、結果の一般化が向上し、より良い洞察が得られます。
サンプルサイズは様々な要素に影響されます。以下は一般的に引用される経験的なガイドラインです。
定量的な研究では、各変数（独立変数/従属変数）につき少なくとも30の回答を収集することが推奨されています（Jacob Cohen）。
質的な研究では、各インタビューごとに少なくとも5人の参加者を目指すことが良いとされています（Miles and Huberman）。
使いやすさの研究では、データポイントが十分に得られるために約15人のユーザーを目指すことが一般的です（Rubin, Chisnell & Jared Spool）。
参加者数が多いほど、より良いデータが得られることがよくあります。 ターゲットユーザーを代表する多くの人々を含めることは常に良いアイデアです。ただし、最適な参加者数は、ユーザーリサーチの目的や利用可能な時間と予算などの特定の基準に依存します。 完璧なサンプルサイズは存在しませんが、結果を顧客やユーザー全体に一般化できるだけの十分な参加者数が必要です。
まとめ
サンプルサイズに関する条件や注意点を以下にまとめます。
質的な研究では、深い理解を得るために少ない参加者数でも十分です。
仮説をテストする場合は、パワーアナリシスを使用して必要な参加者数を計算します。
サンプルサイズは、予算や時間の制約に合わせる必要があります。少ない人数でのテストはリスクが高まり、結果を一般化することが難しくなる可能性があります。
サンプルサイズが小さいと、統計的に有意な結果を得るために十分なデータが得られないため、全体的な研究の信頼性も低下します。これらの数字や他の要素を注意深く考慮する必要があります。
ユーザビリティテストでは、通常は30〜40人の参加者で十分な結果が得られます。リモートユーザビリティテストでは、各場所ごとに15〜20人のユーザーをテストすることが推奨されます。
小規模なサンプルサイズでは統計的な有意性を得ることができますが、より時間がかかるため、研究の目的を慎重に考える必要があります。
小規模な研究では結果を一般化することが難しくなるため、他の人や異なる状況に適用できない可能性があります。
より大規模な研究を行うことで、結果に自信を持つことができます。
サンプルサイズに関する要点をまとめると、参加者数の適切な決定には慎重な考慮が必要であり、研究の目的や制約を考慮に入れながら進めることが重要です。