UX評価のためのアンケート設計

例によって、某ファッション会社でECサイトのUXを担当している田沼です。まだ入社して半年ほどなのですが、チーム自体これまでは既存のサービスや一ブランドのPDCAを行ってサービスの向上や改善をしていくというより、どんどん追加になるブランドECサイトを新規作成していくという役割が強かったのですが、3月にはじめてユーザーインタビューを実施した経緯などもあり、会社の流れとしてはもっとユーザー目線での評価を取り入れていく必要があるよねという気風になっています。
ただUXを定量的にどうやって評価するかという点で、KPI設定をどうすればよいか？と悩んでいて、その中のひとつとして案にあがったのが旧来からあるユーザーインタビューの形、アンケートです。

「そうだ、アンケートしよう！」

というわけで、そこからUXを評価するアンケートづくりが始まったのですが、もちろんアンケートなんて作ったこと無いので（あ、でも昔サマソニのアンケート作ったか。）
右も左もわからない中、どのように考えて設問を設計していったかを説明したいと思います。ただ最近導入したばかりでこれが良いかどうかはわかりません、むしろご意見お伺いしたい気持ちでいっぱいです。

事前準備
まずアンケートの設問を作成する上で、以下の基本的なところから設計をしていきました。

・知りたいこと
・ターゲット
・設問数

# 知りたいこと
このアンケートで知りたいことを明確化することで、全体的な設問設計をブレないようにします。アンケート取る目的なんてわかりきってるじゃんと言いたいところですが、みんなにどう考えて、なんのために設計しているかを伝えるためにも作業前に明文化しておきます。

例：現在のサイトの評価、満足度、不満点のヒアリング

# ターゲット
・サイトを利用している既存利用顧客
・既存顧客＋サイトを過去に利用したことがある顧客もしくは新規
・もしくは〇〇会員　◯歳、性別、居住エリア

など考えられると思いますが、今回は特定の人の評価を知りたいというより、全体的な評価を確認したいと思っていたので、シンプルにサイトを利用した既存利用顧客に設定しました。

# 回答してもらう場面
全体フローを体験したユーザーに評価して貰う必要があると思ったので、
回答数は少なくなってしまう懸念はあるものの、購入後の画面にアンケートを仕込むことにしました。
（ただこれまでに購入体験したひとでも、アンケート期間中に買わない人もいる＝アンケートに気づかないことになってしまうので、シンプルにポップアップで表示する、メルマガから誘導するなどでも良いかもしれません。）

あとで設問を作っていると、これを決めておかないと質問の仕方に違いが出るということがわかったので、事前に決めておくとよいと思います。

# 設問数
5分以内に終わって、設問は5～10問程度が答えやすいとのことだったので、
上記の中でできるだけ少ない設問数になるように調整しようと考えた。

UXを評価する設問内容

上記の前提条件を決めたあとは、設問の設計です。
今回はUX評価（≠顧客満足の確認）という目的があるので、以下のサイト「UXを定量的に評価する7つの基準で客観的にサイトを改善していこう」を参考にUXの評価になりうる項目というのを抜粋しました。

# UXの評価指標参考例
1. アクセスのしやすさ
2. サイトの使いやすさ
3. 目標達成の到達しやすさ
4. 信頼感・安心感
5. 内容自体の役立ち度

この項目をもとにして、各項目ごとに満足度の参考になりそうであろう質問と知りたいことを合わせた仮設ベース「〜でないか、〜いるか」でまずは作成。

#（満足度向上のための）仮設
・ユーザーは操作や機能が使いにくいと思っているのではないか。
・ デザインを見て、ブランド体験を感じることはできているか
・サイト内の情報がすぐに手に入りやすい設計になっているのか。
・商品が届いた時、残念な気持ちになったりメールでのコミュニケーションはどうだったか
・サイトで購入しようと思った時、送料や返品、セキュリティなど安心感は満たしているのだろうか？
・ 購入時に知りたいと思う必要な情報を満たしているのか。
・外人モデルでは、自分と隔離があり検討しづらいのではないか。

さらにこの仮設を精査していくのですが、次にどのように質問に答えてもらうかを決めます。今回アンケート作成にSurveyMonkeyを活用したので、その作成ツールにある複数ある設問フォーマットから「マトリックス / 評価スケール」を使用し、5段階評価としました。
このマトリックス/評価スケールを使用するにあたっては、10段階の数値評価だと入力する側の気持ちとして評価が曖昧になってくるので（6、7の違いは入力したユーザーもよくわからない）、悩まず判断しやすいように5項目としました。また入力するユーザーはそもそも、良い悪いのどちらかだけでものごとを判断をしていないという参考をもとに数字などの評価基準が曖昧なものではなく「大変満足です、わりと満足、普通、少々悪い、極めて不満」の5項目としました。

不満点はチェックリストにして答えやすく

また次の設問はこの満足度の逆として、不満点を確認したいと思ったので、コメントしてもらうのではなく、上記の仮設から不満になりそうな箇所を列挙して、選択する「チェックボックス」としました。これなら答えやすいはず！
もちろん最後に、自由回答項目をいれてそれ以外の不満や改善点があればコメントしてもらえるように設定します。

例）
□文字が小さくて見づらい
□情報量が少なくて検討しづらい
□欲しい商品にたどり着けない

文言もターゲットに合わせて調整

また設問のタイトルや、表現についてもターゲットのリテラシーや年齢などを考慮して言葉を合わせるといいでしょう。
今回は、メインターゲットである「女性・20代後半〜40代」を意識しながら言葉尻や言い回しなどを調整しました。

最終的にできた設問

1．サイトを友人や同僚に薦める可能性はどれぐらいでしょうか？（NPS）
2．サイトの各要素の満足度をお聞かせください。（以下、11項目）
3．このサイトを使用していて、以下のフラストレーションを感じることはありましたか？（9項目の中から複数選択）
4．改善やご意見がありましたらご自由にお書きください。（自由回答）

今回は最終的に4問とかなりシンプルな設問数となったのですが、誰がどう回答したかを明確にするために、性別や年齢などの質問を追加しても良いと思います。

また結果によって、特定の項目の評価が低かった場合、Aを選択したら、なぜそう思いましたか？という設問に誘導することでそこから問題点を更に掘り下げていくというフェーズを想定しています。

やってみて

今回のアンケート導入から一ヶ月ほど経ったのですが、制作側の主観的な評価ではなく、ユーザー側の視点からサイトの問題点を評価できました。「どこに満足していて、なにに不満を感じているのか」がポイントとして評価できたので、サイト改修するときの優先順位をつけやすくなったと思います。コメントに関しても随時拾って、チームに共有していくことでユーザー視点でのサイトの問題点を認識してもらう手助けになっています。

弊社で使用しているSurveyMonkeyは定形のアンケート項目から簡単に作れたり、集計もあえて資料化する必要ないぐらいわかりやすくブラウザ上で確認できる上、非常にUIが使いやすいと思いました。アンケートを業務で定期的に使う方にはおすすめのツールですね！

また上記設問に加えて、アンケートのつくりかたとか顧客満足度とかを調べている間に知ったNPSについては次回。

参考
アンケートを始める前に最低限、決めておくべきこと
アンケートの前に必要な「仮説構築」ってどうやってやるの？
ユーザー調査アンケートは、設計が悪ければダメなデータしか集まらない ―― サーベイモンキー副社長インタビュー
その質問、意味ありますか？ アンケートに見られる５つの失敗