分析・調査レポートをちゃんと読むために

2021年7月15日 07:10

はじめに

分析レポートや調査結果をニュースや社内の分析で見ることがあります。その時に思うのが、割と結果を鵜呑みにする人が多いということです。

この手の内容をそのまま読んでしまうのは、道ばたに落ちているペットボトルの水をよく確かめずに飲んでしまうようなものです。

信頼できない結果で意思決定をしてしまうことになります。

特に、ベンチャーで働いて忙しいと検証する時間もないと思います。そこで、最低限抑えておきたいポイントを挙げておきます。

- 誰が出したレポートか
- 誰に聞いたか
- データ数は十分か

発行元は調べておきましょう。その発行元の願望が入っているかも知れません。世の中には、内容に関して可能な限り中立な立場でレポートを出そうとする団体もたくさんいます。

気をつけるのは自社のサービスを売りたいから、依頼元のサービスを売りたいから、とPR的にレポートを出すとレポートです。そういう申し出をされた方もいるかも知れません。もちろん事実をベースに調査を行われますが、インパクトを出すために、相当条件をいじったりする可能性もあります。

これは極端だとしても、所属業界の分析を行うと、正しく伝えようとしても自分の立場からくるバイアスを取り去ることは難しいです。

このようなことを避けるためには、複数のレポートを見て比較できると良いです。

アンケート調査などでは、どんな属性の人に聞いたかを考慮することも重要です。

わかりやすい例として、インターネット調査でスマホの普及率を聞くことです。PCやスマホなどのインターネットに接続できる機器を持っていない人が調査対象になりません。そのため普及率が高く出ます。

エンタメ系のアプリ内でエンタメのことを聞くのも同様です。元々、感度の高い人たちの集まりなので、エンタメが好きな結果が出やすいです。

タイトルなどで「子育て層に聞いた困っていること10選」と書いてあれば、まだ誠実です。一方、一部の人を対象にした分析を「日本はこうなっていますよ」と伝えるレポートは要注意です。

蛇足ですが、「子育て層に聞いた困っていること10選」も

- 居住地は都市か地方に偏りはないか
- 年収は高い人が多いか低い人が多いか

このような点で偏った結果が出てくるので気をつけます。

調査の対象者が多いかどうかも気にしておくべきポイントです。聞いた人数が50から100ぐらいで少ないときは要注意です。

これくらいのサンプル数に認知度や興味の有無について聞くと、感覚的にも統計的にも上下に10%くらい簡単にずれます。この辺りを気にせずに、数パーセントの違いを鵜呑みにすると痛い目にあいます。

自分が分析結果を共有するときは、時間的に猶予があるなら見せないです。どうしても共有するなら、「数が少ないので信頼できない数値です。」と前置きした上で伝えます。

分析レポートの見方について、いかがだったでしょうか。最低限、気をつけるポイントはお伝えしました。これを気にするだけでもレポートの見方が変わってくるかなと思います。