その「アンケート結果」はデータとして信頼できるか？
現状を調べる手法として、しばしばアンケートという形が取られることは多い。世の中の動向や意向を調べるために使われるし、報道番組ではアンケート結果を提示することで、ニュースに説得力を持たせることもある。職場などにおいても社員の意見を集めて反映させることで業務改善につなげる取り組みもよく聞く。
調べる側としては、調べたい項目を質問項目として作成し、不特定多数の人または社内の人に広くアンケートをばら撒けば良いだけなので、手間をかけずにそれなりの件数の数字が出せる。そういう意味ではアンケートはコスパも良くお手軽なデータ収集方法だと考えられる。
しかし、アンケートはデータ収集の方法として使うのは、かなり慎重にならなければいけない。
アンケートの回答には「人々の考えや意向」が反映されていると思われ「アンケート結果」はそのまま鵜呑みにしてしまいそうになるが、注意が必要だ。
なぜなら、「アンケート結果」をデータとして使うには多くの"歪み"があるからだ。
この記事では、「アンケート」にありがちな"歪み"を4つ紹介する。
アンケート結果を見る側であれば、「これは本当に最適なアンケート結果なのか？」を考える材料にもなるし、アンケートを作る側にとっては「自分の欲しいデータを収集するためにどのようなアンケートにすれば良いか？」を検討する材料にもなるだろう。
アンケートをより良いものにするためのヒントになれば幸いである。
①アンケートの回答者は適切に選ばれているか？
知りたいデータについて、アンケートの回答者を適切に選ぶことは重要である。
社内の意向調査なんかであれば、アンケートを全社員に撒けば対象としては間違いないが、例えば、「日本人の平均収入はいくらか？」を調べたい時に、回答者を無差別に選ぶ必要がある。極端な話、地域によって収入は変わってくる。「日本人全体の収入」の情報を知りたいのに、東京の例えば銀座にいる人だけでアンケートを取ったら、かなり高い平均収入が結果として出るだろう。
また、「社会における男女の不平等を感じるか？」というアンケートでは、比較的多様な人々が集まる都会と未だ村社会の文化が残る田舎とでは、回答結果に大きな差が生まれることも想像に難くない。
アンケートは手軽に実施できる分、意外と回答者を適切に選ぶところは重要視されていない印象がある。「この質問内容で、なんでこの人たちに聞くんだ？」と報道番組を見ているとよく感じる。
新橋にいるサラリーマン(しかも50人ぐらい)だけに調査して、それを世論として紹介するようなニュースは、僕はあんまり信用できない。
②そのアンケートの回答率はいくらか？
例えば、街角アンケート「新橋のサラリーマン100人に聞きました」という結果においては、「結果100人に回答をもらえた」ということしかわからない。「100人に結果をもらうまでに何人に声をかけたか」は明示されていないことが多い。仮に100人に回答をもらうまでに1000人に声をかけたのであれば、その回答率はたったの10%だ。
例えばそのアンケートが「あなたは政治に関心がありますか？無関心ですか？」という質問であれば回答した100人の結果が「関心あり60%:無関心40%」だったとしても、世論が政治に関心があるとは言えない。回答すらしなかった人たちはそもそも「政治の話題自体に関心がない」と考えられ、無回答の人も入れると「関心あり6%(1000分の60):無関心94%(1000分の(40+900))」という結果になる、とも考えられる。
要するに、回答者を無作為に選んだとしても、そのうちの回答率が低ければ、結果の妥当性には疑問が拭えないことになる。
さらには、アンケートの回答率が低ければ「声無き声」が結果に出ていない。ということも考えておかなければならない。「今の政治に何か不満がありますか？」という質問であれば、不満のある人は積極的に回答するが、特になんの不満もない人はわざわざ時間をかけて回答などしないだろう。アンケートには、回答したい人は積極的に回答するが、興味のない人は回答には消極的になる、という現象が起こる。先の質問では「今の政治に不満のある人」が積極的に回答する傾向が生まれ、アンケート結果は「政治に不満のある人」が多くなる。
③そのアンケートは正直に答えられるものか？
アンケートはあくまで「そう回答した人の数」が結果として出てくる。質問に対して実態通りの回答を回答者がしているとは限らない。
極端な例を出すと、「あなたは万引きなどの軽いものも含めて、犯罪を犯したことがありますか？」という問いに関して、どれだけの人が正直に答えるだろうか？それが記名式のアンケートだったり街頭インタビューであればなおさらだ。自分の素性が知られる形式で、正直に答えにくいような質問を正直に答える人は普通いない。
先の①のような「あなたの年収はいくらか？」という質問でも、おそらく多くの人は見栄をはって実際よりも多い額を答えるだろう。
こういった心理が働くことが予見されるアンケートをとる場合には、対面ではなく無記名での回答を求めるなど工夫が必要となるだろう。
改めてお伝えするが、「犯罪を犯したことがあるか？」という質問に対して「ない」という回答が多かった場合は、犯罪を犯したことがない人が多いわけではなく、「犯罪を犯したことがない」と回答した人が多い、というだけなのである。
④質問が誘導的ではないか？
これは実際に僕の職場であったアンケートである。
総務課の提案で実施した業務改善案により、社員全体の過去３ヶ月の残業時間が平均して短縮されました。今後も継続して続けていくべきだと思いますか？①はい②いいえ
僕はこのアンケートがまわってきた時に、欄外に「判別出来ません。残業時間の増大は兼ねてからの社内全体の懸案事項であり、それが減ったのは社員の努力によるものであると考えています。」と書いて提出したところ、「番号で回答するように」と修正を求められてしまった。
「業務改善案には成果があった」という前提のもと問われているその質問形式自体に歪みがあるというのに…。
と、ここまであからさまではなくとも、このような誘導的な質問は世の中にたくさんある。
「この新製品について85%の利用者から支持を得ています。今後もこの製品を使っていきたいと思いますか？」
「内閣による不祥事が続いています。今の政権を支持しますか？」
このような質問は、見ていただくと分かる通り、質問者の答えてほしい方に誘導するように前文が加えられている。
果たして、こんな質問の回答が真っ当な回答結果と言えるのだろうか？
その質問をどのような文脈でするのか？それはアンケートの結果を大きく左右する要素となるのである。
というわけで、アンケートを実施する上で起こりうる様々な歪みについてお伝えした。