データサイエンスよりも効果的？ なぜユーザービリティテストが最適なログ分析手法なのか
自社でログを分析するとき、みなさんはどうやっておりますでしょうか？まさかいきなりSQLで集計していないですよね？
データから色々分析すれば、何か画期的な改善方法が見つかると思っていないでしょうか？データサイエンティストにデータをとりあえず渡せば全て解決すると思っていないでしょうか？データサイエンスによる分析で改善点が見って、そのデータサイエンスでの改善点を実行しようとするとき、本当にそうなのか疑心暗鬼になることはないでしょうか？
YKがおすすめするのは、ユーザーと向き合うこと、つまり定性調査から分析観点を考えるということです。ユーザーがプロダクトを利用しているのを後ろからじっと見て、行動を観察するということです。
ログというのは、定量的にユーザーの行動を可視化するという手段になりますが、一人一人の行動を正しく理解しておくというのが、大事だと考えます。
全体はカオスな状態だとしても、それはいくつかのパターンの重なりの結果、カオスに見えているだけです。そのため、一人一人を観察し、いくつかのパターンを知ることが、全体の理解につながります。
そして、分析結果を定性面と定量面の両方で理解し、確証を得ながら意思決定できると成功する確率が格段に上がります。
ユーザーを観察するテストのことを「ユーザービリティ」テストと言います。詳しいユーザービリティテストの仕方については、検索して勉強していただければと思います。
この記事では、ユーザービリティテストを実施するときに知っておくべきこと、気をつけるべきことをお伝えしたいと思います。
1.回顧法と発話法
ユーザービリティテストで、議論になるのは、回顧法と発話法どちらで行うのが良いか？ということです。回顧法と発話法については以下になります。
ユーザテストにおけるユーザの考えの引き出し方は、大きく2つに分けられます。一つは「思考発話法」もう一つは「回顧法」です。
実際に何か（たとえばウェブサイト）を利用しながら「考えていること、感じていることをぶつぶつと独り言をつぶやく」ことを「思考発話」と呼んでいます。まさに何か行動しているときの、リアルタイムで鮮度抜群な心理状況が得られる点に最大のメリットがあります。
一方で、利用が終了した後にそこまでの行動を振り返り、行動の内容、背景を深く掘り下げていく手法を「回顧法」といいます。回顧時には既に行動は終わっており、行動自体へのバイアスに神経質になる必要もありませんから、より幅広く、深い質問を被験者に投げかけることができます。
YKの考えをお伝えします。
可能な限り「回顧法」を選択するべきだと思います。
なぜかというと、ログ分析におけるユーザー行動というのは、かなり無意識な部分が多いです。いちいち頭で考えて操作しているというよりは、反射的に操作をしています。なので、できるだけその状態に近づけて観察をする必要があります。
発話法は、インタビューを見ている側からするとすごくわかりやすく考えを解説してくれますが、インタビュイーがしゃべりながら触るというのは、自然な操作として不自然です。いつもと違うことを聞いても我々ものづくり側からすると何も意味がありません
「回顧法」の方がインタビュースキルは上がります。一回ユーザーの行動を覚えないといけないので。ただ、そのコストを払ってでも、なるべく普段の状態に近づけるようにした方が、よりリアルなユーザーの実態を知ることができます。
という考えから、可能な限り「回顧法」でインタビューを行うことをお勧めします。
タスクの設計
ユーザービリティ調査をするときに、大事になってくるのがタスクの設計です。既にプロトタイプができていればそれを使うのがベストです。そのためにわざわざ実装しなければいけないか？というとVisual Designさえできていれば、今はprottなどの便利なツールもあるので、現代であれば紙の時代は終わりこのようなツールを使うことが良いでしょう
そして、タスクの設計で気をつけることは、
現実的にありそうなタスクか？
タスク説明時にヒントが入っていないか？
作業時間のボリュームは大丈夫か？
ということに気をつければ、基本的に大丈夫でしょう。大事なのはタスクの説明時に誘導をしていないか？ということを気を付けてください。UIの設計は、説明しなくてもわかることが大事です。実際にユーザーが使うときというのは、一人時が多く、誰かに何かを聞けない状態が多いです。なので、説明やフォローする人がいないくてもユーザーがゴールに辿り着けるよに設計する必要があり、それをユーザビリティテストで確かめる必要があります。
実査中の注意
実査中に出くわす注意パターンについても、お話しできればと思います。以下、よく実査中にインタビュイーから質問をもらうことがあるのですが、どう切り返せばよいか？困った方もいるでしょう。以下のポイントを押さえたり、想定しておくと良いと思います。
1.通常使ってもらう時は、インタビュワーはいないので、被験者に質問されても答えない。以下を聞かれた時の返しの例
「これは何ですか？」 → 「何だと思いますか？」
「これは〇〇すれば良いのですか？」 → 「思った通りにやってみてください」
「次にどうしたら良いですか？」 → 「あなたは次、どうしたいですか？」
このように返すと良いです。ただ、本当にこれ以上どうしようもない時は、サポートします。例えば、
検証したい箇所ではないところをたくさん操作している時。操作しそうになった時
時間がかかりすぎてしまっている時
などです。時間は限られているので、そこの見極めはモデレーターのマネジメントになります。
最後に回顧法で、振り返りながら質問するときにも、よくやってしまう悪い例と正しい聞き方をお伝えしたいと思います。まず、基本的に振り返りの質問はオープンクエスチョンで質問します。
「まず初めに〇〇を押しましたね？」 →「まず初めに何を思って、どうしましたか？」
「そこを押されたのは〇〇だからですか？」→「そこを押されたのはなぜですか？」
「そこを押さなかったのはわかりにくかったからですか？」→「そこをはどうですか？」
できる限り、自分の意見を言わないようにすることを心がけてください。そして、できるだけ、被験者に話してもらうことを心がけてください。
ユーザーが視線を動かさずに一度に読める・認識できる範囲は3-5cm と言われています。よく画面の設計で考えがち、間違って認識している人がいるのですが、設計の考え方は以下になります。
間違ったユーザー行動認識：ユーザーの行動は一度に画面全体をみて、理解してボタンをおす
正しいユーザー行動認識：やりたことがどこにあるか？を次から次へと目線を動かして探す
というのを頭に入れて、ユーザーの行動を観察すると、どこでつまるポイントがあるか？が2-3人インタビューすれば見えてきます。
まとめ
いかがだっただでしょうか？データ分析も大事ですが、分析をする前に実際のユーザーに触れるというのはかなり分析を切れ味の鋭いものにします。参考になれば幸いです。
インスタグラムもしておりますので、フォローよろしくお願いします
【@yk_data/毎日インスタグラム8時投稿】
▷ビジネス、生活、経済にかかわる政府データをグラフ・解説付きで、わかりやすく発信
▷上場企業マネージャー。データ分析10年以上。
▷資料作成やデータ分析ノウハウをストーリーで不定期に投稿
もし発信して欲しいテーマがあれば、いいねやコメント、DM頂けると嬉しいです。