シーケンス分析を用いた学習継続のペインポイント探索
1.はじめに
こんにちは！グロービスのデータサイエンスチームでデータサイエンティストとして働いている三宅です。
ビジネススキルを動画で学べる GLOBIS 学び放題 というサービスについて、行動ログやアンケート調査データの分析を担当しています。
この記事では、GLOBIS学び放題におけるユーザーの分析に、シーケンス分析というUXグロースの手法を用いた取り組みについてご紹介します。
2.シーケンス分析とは
シーケンス分析の概要
シーケンス分析とは、be-Bit社によって提唱されているUX改善アプローチの1つです。be-Bit社によると、この手法は『行動データをユーザーIDごとに時系列に並び替え、行動の順序を加味した上で分析する手法』であるとされています。
なぜシーケンス分析を実施するのか
GLOBIS学び放題を含めた、アプリやWebサイト上のデータは時系列を問わず、平均値などで集約されて分析されるケースが多いです。
しかし、この集計方法では実際のユーザーがどのようなフローで目標ページへ到達しているのか、または離脱してしまうのか、という背景まで把握することは難しくなってしまいます。
実際のユーザーの行動の流れを追うことで、現状のUXの理解をより深めることが、シーケンス分析のねらいです。
シーケンス分析の一般的な手法
まず対象となるUX改善テーマを設定し、その中で想定されるユーザー行動の流れを書き出します。
その後、上記で想定された行動に当てはまる行動データの中から、属性や利用頻度が平均的なユーザーを数名抽出し、ユーザーID単位で行動データを時系列に確認します。ユーザーを数名に絞るのは、全ユーザーの行動を確認するには膨大な作業時間が必要になるためです。
次に、抽出した行動データと想定した行動データとのギャップを探索して、なぜその想定外の行動をユーザーが取ったのかを推察します。そのギャップがUX改善点となりうるポイントになります。
上記で挙げた、行動フローを確認し、想定とのギャップを推察する行動を対象ユーザーの数だけ繰り返すというのがシーケンス分析の基本的なフローになります。詳細な手法・事例については「UXグロースモデル アフターデジタルを生き抜く実践方法論」の書籍をご参考ください。
3.GLOBIS学び放題におけるシーケンス分析の活用
学習継続のペインポイント探索
概要
今回、GLOBIS学び放題において、ユーザーが何をきっかけに学習から離れてしまうのか、というペインポイントを探索する目的でシーケンス分析を実施しました。
前節でも述べましたが、be-Bit社が提唱しているシーケンス分析では、ある特定の施策を対象とし、ユーザーの行動がサービス側で想定している行動とどれだけ乖離があるのかを検証するものとなっています。
しかし、今回の分析では、特定の施策に対する検証分析ではなく、サービス全体に対する障壁の探索分析として、サービス上の全ての学習行動と学習に至るまでの行動を対象に、シーケンス分析の手法を取り入れました。
シーケンス分析で得られた仮説は、その後データと組み合わせて定量化し、その仮説がデータから見ても正しいのかを確認するという検証を実施しました。本分析は、シーケンス分析を仮説検証サイクルの一部として採用した分析の事例となります。
分析手法
今回の行動ログの調査では、学習継続ができたユーザー、ある程度学習継続はしたが途中で離脱したユーザー、学習継続がほとんどできなかったユーザーの3セグメントを対象に平均的なユーザーを抽出し、GLOBIS学び放題上での行動を時系列で確認しました。
行動フローを追う上で主に着目したのは以下の通りです。
サービスに訪れる頻度
いつ（どの時間に）サービスを利用しているか
コース視聴を開始するまでの回遊状況
コース一覧からコースを探す時間
視聴を開始するまでのページ遷移数
どの導線からコースを探しているか
視聴したコースの傾向
視聴を開始して、コース内の動画を視聴完了し終えるか
上記で挙げたような行動が、学習期間の経過や離脱のタイミングが近づくにつれてどのように変化していくのかを把握し、学習継続のペインポイントを推測します。
分析結果
行動ログを見ていく中で、特に顕著だったのがユーザーの学習導線に変化が見られていくことでした。また、その変化や割合もセグメントごとに特徴があったため、学習導線の変遷と学習継続には大きな関係がありそうだという仮説がシーケンス分析から得られました。
シーケンス分析に取り組んでみて
今回の分析では、提唱されているフローとは異なり、複数の機能を横断しながらユーザーの全体的な行動フローを観察しました。全体を俯瞰しながら仮説探索を行う、という観点では多くのインサイトが得られた一方で、複数の機能を横断して行動フローを確認すると、以下の点から作業に時間がかかってしまうことが今回の分析を通してわかりました。
確認する行動ログの絶対量が多くなる
考えられる仮説や推測の幅が広がる
考慮すべきノイズ（同時期に実施されていた施策でユーザーの行動量が増えるケース、など）が増える
参考文献にも記載されていますが、行動ログの確認や仮説の推察は複数人で実施することを推奨します。あくまでも見える範囲は行動ログのみであり、その背景は読み取ることしかできないため、作業者が限られると推測の幅が狭まるというデメリットが発生するためです。
また、今回の分析を通じて、行動ログを確認するには対象施策を1つに絞った方が、より効果を発揮すると感じました。
それを踏まえた上で、今後のシーケンス分析の活用案として、施策の効果検証の一部に採用するというのが挙げられます。定量的に算出した効果検証の結果とともに、さらにユーザーの実行動を観測することで、なぜ施策がうまくいったのか、またはうまくいかなかったのかという要因を定性的にも推察することが可能だと考えています。
1つの施策に対してユーザーインタビューを毎回実施するということは難しいため、ユーザーの「生の声」を代替するものとしてシーケンス分析をうまく活用できるのではないでしょうか。
学習継続のペインポイントを特定する上での課題
今回の、GLOBIS学び放題における学習継続のペインポイントを特定する分析の上で、最も大きな課題となったのが「サービス外部の離脱要因を把握しきれないこと」です。
GLOBIS学び放題に限らず、学習をするかどうかはその人が1日の中で学習に割けることのできる時間があるかどうかに影響されやすく、特に社会人をターゲットにした学習だとその影響が大きいのではないかと考えています。
シーケンス分析ではサービス内部の行動しか把握することはできないため、「仕事が忙しくなった」などの外部要因が仮に発生していたとしても、それを行動ログから認識することは非常に難しくなります。
外部要因の可能性を考慮しないと、学習継続のペインポイントを誤認識してしまい、その先のメッセージングも誤ってしまう恐れがあるため、「学習が続かなかった」のか、「学習意欲はあったが、そこに割く時間がなかった」のかは慎重に判断する必要があります。
4.終わりに
今回はUX改善の文脈で用いられるシーケンス分析を、仮説検証サイクルの一部としてデータサイエンスの領域に落とし込んだ事例を紹介しました。
ユーザー心理はサービス内の行動に反映されていることを実感したとともに、今まで行っていた集計や分析だけでは見えてこない角度からの発見があったと思います。シーケンス分析は、集約的な分析に比べて地道な作業が多いですが、UXリサーチでユーザーの声を拾うのと同様に、ユーザーに対する理解を深めることができる分析だと感じました。
今後も定量的なデータだけにとどまらず、行動ログの情報も活用しながら、よりユーザーに寄り添ったUX改善を進めていきたいと考えています。
5.参考文献
書籍名：「UXグロースモデル アフターデジタルを生き抜く実践方法論」
著者名：藤井 保文、小城 崇、佐藤 駿
発行元：日経BP
5章 pp.200~245
6.グロービスで一緒に働く仲間を募集しています！
グロービスのデータサイエンスチームでは、一緒に働けるデータサイエンティストを探しています！
まずは、カジュアル面談を通して、あなたに合う組織かどうか確かめてみませんか？
https://recruiting-tech-globis.wraptas.site/