【ホトカミ日記】 データをもとに仮説検証をしてみました！

こんにちは。データ分析担当の村上です！

『仮説をベースにホトカミの機能を一部変え、どのような変化があるのか』という検証に初めてチャレンジしました。

今回は、テストがどのような流れだったかをご紹介します。

仮説

データを眺めていると、「もしかしたらこのデータの背景にはこういう因果関係があるのではないか」と頭によぎる時があります。たとえば、

毎週末にホトカミのアクセス数は増えるけれども、そのアクセス数の増え方にはばらつきがある。これは週末の天気が関係しているのではないか？

だとか、

各神社・お寺のトップページは「基本」「アクセス」「御朱印・御朱印帳」の順番でメニューが並んでいる。しかし「アクセス」のページビュー数は少ない。メニューの順番を変えたほうがページビューが増えるのではないか。

だとか。

こうした「仮説の卵」たちの中でも、インパクトが大きそうで、検証可能なものを選び出し、検証の構成のステップに移ります。

検証の構成

先ほどの１つ目の例は、天気予報のデータを調べるだけで簡単に検証することができます。一方で２つ目の例は、実際に一部のページでメニューの順序を変更することで、前後の変化を比較することができます。

２つ目の例のような仮説の検証のためには、エンジニアの菊地さんや小沼さんに協力してもらい、実装を変更してもらいます。

この時には、どのようなページをテストとして選ぶかが大切です。たとえば【ページ群a】を変更した場合には、

1. 【ページ群a】と同じ階層の【ページ群b】
2. 【ページ群a】を包含する【ページ群A】全体

と比較することができます。

また、【ページ群a】に特有な他の大きな変更があると、影響の切り分けが難しくなってしまいます。なるべくシンプルな対比を作れるように、ページ群を選びます。

データ取得

すでにGoogle Analyticsが埋め込まれているので、データ取得で新しくしなければならないことはほとんどないです。

データが集まるまで、経過を観察します。当初決めていたデータを集める期間が過ぎたら、考察に移ります。

考察

考察ではなるべく客観的な事実をデータから抽出します。

1.ページ群同士の対比
2.期間での対比

により、影響を測ります。また、絶対値で比較するのか、増減率ので比較するのか、状況や指標に応じて使い分けます。

判断

考察で抽出した事実から、判断を下します。判断なので、どうしても主観的なものになりますが、仕事を進める上で判断は欠かせないものです。

もちろん「経過観察付き」などといった条件付きの判断もあります。現在のデータでの最適な判断であるので、いつ判断が変わるとも限りません。

ということで今回の記事では、

仮説 => 検証の構成 =>データ取得 => 考察 => 結論

という、データ分析の流れをご紹介しました。

最後までお読みいただきありがとうございました。

おまけ
アイキャッチ画像 ... 今宮戎神社の狛犬（吽）
記事内の画像...圓教寺食堂内の唐獅子一対