グロービス学び放題におけるデータドリブンなプロダクト開発

学習サービスのプロダクト開発では、データ活用がとても重要です。グロービスの辣腕プロダクトマネージャーがポイントを解説します！

グロービス学び放題とは？

こんにちは、グロービスでプロダクトマネージャーをやっている染谷です。プロダクト開発におけるデータ活用という本題に入る前に、簡単にどんなサービスなのかをお話しするところから始めますね。

グロービス学び放題とは、体系的な経営学の知識をベースとした動画学習のサブスクリプションサービスです。ここでは、ユーザーは自分の必要としている内容のコースを探し、そのコースの動画を視聴し、コースの最後では理解度を確認するためのチェックテストを受けることができます。その基本的な使い方の他に、ユーザーの抱えている課題や目的毎にいくつかのコースをパッケージにしたカリキュラムに沿って学習を進めたり、GAiLと呼ばれるAIが搭載された自由記述式の演習問題で腕試しをすることもできます。

学習サービスならではの課題

他の学習サービスには、国内ではCMでもよく見るリクルートが提供するスタディサプリや生放送を主体にしたスクー（Schoo）、海外ではスタンフォード大学の教授が立ち上げたコーセラ（COURSERA）などがあります。いずれも抱えている課題は「ユーザーが学習を継続しない」ということです。ゲームやNetflixなどのエンターテイメント系のサービスとは違い、学習することは多くの人にとって楽しいものではありません。また、開発側としても、マネーフォワードのようなツール系サービスとも違い、すぐに利益実感が得られるものでもなかったりして、なかなか厳しいところがあります。

さらに、一口に学習サービスといっても、対象とするコンテンツによってアプローチの選択が変わり、それによりサービスの検証サイクルが変わっていきます。たとえば英会話のように、単一のスキルの向上を目的とし、正しい答えがあるわかりやすいコンテンツがある一方で、グロービス学び放題のように、経営という複合的なスキルの向上を狙い、内容も抽象的になってしまうものがあります。
英会話のように短期的に成果が出るものは、1ヶ月毎のサブスクリプションでも一定の学習効果が見込まれます。一方で、グロービス学び放題では今までの企業研修や大学院運営の教育ノウハウから、学習効果を最大化するために6ヶ月単位での提供となっております。そのため、継続利用のタイミングが最低でも6ヶ月になってしまい、意思決定のサイクルを頻繁に回すことが難しくなっています。

プロダクト改善のための行動ログ設計

ユーザーの行動を理解する難易度が高い分、なるべく多くのデータを活用しなければなりません。学習は大きく分けると、「学習前」→「学習中」→「学習後」の3つに分かれます。それをグロービス学び放題では、「見たい動画を探す」→「動画を見て学習する」→「学習した内容を振り返る、他のユーザーのアウトプット見て、学びを深める」と捉え、ユーザー行動を分析しています。ユーザーの行動ログは以下の図のようにfluentdを利用して収集しております。

学習前であれば、検索機能を利用しているのか、どういうパスを通って動画視聴に至っているのか。
学習中であれば、視聴開始後にどこで離脱しているのか、再生速度は何倍にしているのか、そして、チェックテストにはどれくらい正答しているのか。
学習後であれば、振り返りを行っているのか、他のユーザーの振り返りに対して何らかのリアクションを行っているのか。
さらに、学習前・学習中・学習後を通して、ユーザー毎にどんな特徴があるのか……などなどを収集してログを分析し、サービスの改善につなげております。

データを活用したプロダクト開発のサイクル

グロービス学び放題では、会員登録後の無料期間を経た後に有料会員になる有料化率と、その有料会員の継続率を事業上のKPIと設定しており、プロダクト開発もそのKPIを直接的あるいは間接的に上げることを目的としています。そのために、
①データログ設計
②データ分析と仮説構築
③仮説に基づいた施策検証
④レポーティングと次の仮説構築
というサイクルを回しています。

①データログ設計
先述したように、学習のそれぞれのステップにおいてトラッキング可能な行動ログをなるべくすべて収集しています。新機能をリリースする時もログ設計を行い、新機能自体の利用頻度や他の既存機能との分析ができるようにします。Web/Appの両プラットフォームでサービス展開をしているので、ログのイベント名などは一定のすり合わせが必要になります。

②データ分析と仮説構築
分析用のデータは主にBigQueryに蓄積され、社内のメンバーは誰でもアクセスできる状態になっています。簡単なBIを作りたい場合はGoogleのデータポータルを利用することが多く、用途に応じてTableauも活用します。
仮説構築には主に2つのパターンがあります。データを元に仮説を考えていくというパターン、および、ユーザー視点で仮説を作っていくパターンです。
前者は、すでに蓄積されているデータをBIツールでアドホックに分析し、仮説を構築していくというものです。機械学習モデルを適用した分析も進めていますが、各ユーザーの学習のパターンが多様であったり、いわゆるグロースハックのようなちょっとした変更ではユーザーの行動変容が見られないことから、なかなか有力な仮説が出てこないのが現状です。
後者は、一人のユーザーとしてどうなれば「もっと学習を続けよう」と思うのかを考えて、仮説を構築していきます。実際に、今まで取り組んできた施策はこのパターンの方が多いです。プロダクトマネージャーはもちろん、エンジニアやデザイナー、データアナリストなど、サービスに関わるメンバーほぼ全員で仮説構築を行っています。

③仮説に基づいた施策検証
検証すべき仮説が決まったら、最速かつコストの小さい手段で検証を行います。ユーザー数が10万人以上いるとはいえ、すぐに必要なサンプル数が集まるわけではありません。プロダクト改善のサイクルを回すために、なるべく早く検証を開始する必要があります。必ずA/Bテストを行うのですが、その際に、ユーザーのA/B振り分け、ユーザー毎の施策の出し分け、ユーザー毎の行動ログの識別を主な論点として、サービスに実装するのか、KARTEやGoogle Optimizeなどの外部ツールを利用して検証を行うのかを判断します。

④レポーティングと次の仮説構築
KPIである有料化率あるいは継続率、および、その他に設定したいくつかのサブKPIを集計したものがレポートになります。各KPIおよびサブKPIがどう変化したのかも大事ですが、その変化の背景の考察が重要です。数値変化は、最近はGoogle colabでテンプレートとなるノートブックを作成したりもしていますが、しっかりと統計学に基づいて判断しています。結果の考察については、仮説構築と同様に様々な職種のメンバーが集まり、新規の仮説構築を行い、既存の検証しなかった仮説と合わせて優先順位を決定することまで行います。

まとめ

ここまで述べてきたように、グロービス学び放題ではデータドリブン、すなわち、データを元に下した判断に基づくプロダクト開発を行っております。学習サービスという特性上、その全てがデータだけで解決できる訳ではなく、ユーザー視点での仮説にデータをうまく活用していくというアプローチが重要になってきています。

最後に…

グロービスに興味を持っていただけた方は、ぜひこちらをご覧いただけると嬉しいです😺
一緒に働いていただけるメンバーを募集しています。よろしくお願いします。
https://recruiting-tech.globis.co.jp/