どのくらいのデータ量があればいいインサイトが得られますか？
イベントやウェビナー、商談を通じて、頻繁に質問されました。
質問された方にはそれぞれの事情があると思いますが、過去にAIのモデルを組もうとした方もいると思いますし、別の分析ツールで同じような課題に当たった方もいるかもしれません。
結論から書くと、本noteで扱うプロダクトアナリティクスおよびデジタル体験分析については、最小のデータ量に関しては特に気にする必要はありません。
その理由は以下のとおりです。
色々なアルゴリズムが使われている
可視化だけで十分に優れている
結果が有意性があるかを判断する仕組みが入っている
それぞれについて補足します。
1. 色々なアルゴリズムが使われている
ご自身で特定のアルゴリズムを組む場合（GA4+MLのような検討をする場合）、モデルやデータの質・量によって有益性を判断するためのデータ量を検討する必要があると思います。
しかしながら、本noteで扱うツールは既にパッケージ化されており、AI/MLのロジックも複数、ベストプラクティスに基づいて利用されています。
個々のアルゴリズムにおいては、優位性を出すためのデータ量の基準が存在することは事実ですが、ツール全体としての評価においては、そのような特定のアルゴリズムに関連するデータ量の基準を考えることは正しくないと考えております。
2. 可視化だけで十分に優れている
行動分析ツールを検討していると、AI/MLの便利さに感動すると思います。もちろんそれらの機能は有益であり、インサイトを得やすくする特徴的な機能です。
一方で、基本となる可視化の機能も十分に優れていています。
日々の運用では、7〜8割は可視化機能を使う時間になると思います。
一般的な分析ツールで分析をするのと比べれば、遥かに簡単・早くユーザー行動を把握し、行動分析ツールの導入だけでも大きな価値があると考えています。
3. 結果が有意性があるかを判断する仕組みが入っている
統計アルゴリズムで算出した結果には有意性を計算した上で「有意です」もしくは「有意ではありません」とメッセージが出るようになっているものが多いです。
また、母集団を計算し、一定以上の信頼区間（95%, 99%など）を満たした場合にのみインサイトを提示するケースもあります。
いずれの場合でも、出された結果の信頼性を確認するために、ツールは裏付けを行っています。
大きな使い分けとしては、下記のようになります。
可視化
データセットが少ない場合（新規サービス等）
大容量なデータセットの中から、特定のユーザーグループを抽出して分析する場合
ユーザーの行動傾向を理解しながら分析を進めたい場合
AI/ML
膨大なデータセットを扱う場合（属人的な分析に限界を感じる時）
統計的な示唆が欲しい場合
分析のきっかけを得たい場合（とりあえず流し込んでみる）
データセットが少ない新規サービスから大規模なサービスまで、十分に活用して頂けると思っています。
次回は、逆にAIに関する注意点を書きたいと思います。