世論調査が信頼できるかを見極める最低限のこと
東京都知事選が気になっている。特にその世論調査は気になる。今回は、
小池氏大きくリード 都政「評価」約7割も プロジェクションマッピング「見直し必要」5割超 神宮外苑再開発「見直し必要」約4割
に感じた統計的視点からの違和感を紹介し、信頼できない世論調査とは何かを考えてみたい。
内閣支持率など、同時期に行われても新聞社毎に結果が違うから信頼できない、という人がいる。しかしそれは違う。意味がわかれば違うのは当然であることがわかる。同時にどのような調査なら信頼できる可能性があるかを示してくれている。
そして何より、「調査結果はこうでした」という結果だけ示されて信じてはいけない。
まずは発信者側が、その調査が公正であるかを担保するための調査の詳細を示しているかどうかだ。示していなければ即アウトだ。調査した側が、調査に関する基礎的知識があるかさえわからない。適当に数人を身内から選んで聞いてみた、割り算をして％を出しただけという可能性さえ排除できないのだから。
続いてその調査の詳細が示されている、調査が公正に行われたかを確認できる情報が開示されている場合である。調査と言うからには、誰か誰かに質問している。だから、いつどこで誰が誰に何をどうやって聞いたのか、これが開示されている必要がある。もう少し具体的に言うと、
・調査の期間
・誰が調査を行ったのか
・とのように調査対象者を選んだのか（偏りなく選ばれているのか）
・何人に問うたのか
・何人から回答があったのか
・質問の具体的内容、例えば選択か自由回答か（順番を含む）
・質問の回答方法
となる。
結果の記載方法でも、その調査の信頼度や、調査への理解が透けて見える場合がある。例えば読売新聞、朝日新聞、毎日新聞は、世論調査をとても正確に伝えようとしている。これは、上で示した調査の詳細を明確に示しているだけでなく、結果の小数点以下がないことでわかる。有効数字の問題である。数値を見る時、最下位から1桁上は信頼できる。しかし最下位の桁には誤差が含まれていると理解しなければならない。そもそもたかだか1000人オーダーの調査では、±3％程度の誤差は統計誤差として必ず出てくる。にもかかわらず、小数点まで記載することは、統計、特に区間推定を理解していないことを示している。
継続して調査を行っている大手のほとんどは、調査方法の記載がある。しかし場合によっては1000人程度の調査でも小数点1位まで結果を出してしまっているのはとても残念だ。
Web調査については、いろいろ議論がある。しかし回答する人が、ネットユーザー、かつその調査にアクセスできる人に限定されてしまう。このため偏りが出やすく、実態と乖離する可能性が高いと言われている。つまり正しい結果は得にくい。
以上の視点から、冒頭の記事を眺めてみよう。すると最初からつまずく。つまり調査の詳細が不明なのだ。
来月7日に投開票を迎える東京都知事選について、JNNでは22日、都内の有権者に対しインターネット調査を行い、取材を加味して序盤の情勢を分析しました。その結果、現職の小池百合子氏が安定した戦いぶりで、他の候補を引き離していることがわかりました。
調査対象者は「都内の有権者」だという記載がある。Web調査であることは書いてある。どうやって都内の有権者をインターネット上で抽出したのか。都内へ通勤・通学する人は含まれうるのか。そして「取材を加味」して何をした？
■小池氏大きくリード 蓮舫氏、石丸氏が追う展開
現職の小池百合子氏は、都民ファーストの会の支持層の約9割を固めています。さらに自民党・公明党支持層の約8割を固めるなど大きくリードし、他の候補を引き離しています。
前参議院議員の蓮舫氏は、立憲支持層の約8割、共産支持層の約7割を固め、小池氏を追う展開です。広島県安芸高田市の前市長・石丸伸二氏が続いていて、元航空幕僚長の田母神俊雄氏など他の候補は伸び悩んでいます。
ただ、今回の調査では約3割の人がまだ投票先を決めていないと答えていて、今後、情勢が大きく変わる可能性があります。
もうここまでだけで、この調査は何だ！と言わざるを得ない。そもそも「大きくリード」というのは、どのような数値を根拠にしている？何人に質問したというのも勿論重要。しかし、聞き方（例えば2択、3択、選択など）によっても回答は全く異なって来る。質問の順序によっても変わって来る。（内閣支持率が各新聞で異なるのも同じ理由：例えば読売新聞のこの記事や、毎日新聞のこの記事にしっかり書かれています）
・調査の期間 → 6月22日
・誰が調査を行ったのか → JNN
・とのように調査対象者を選んだのか → 都内の有権者、インターネット
・何人に問うたのか → 記載なし
・何人から回答があったのか → 記載なし
・質問の具体的内容、例えば選択か自由回答か（順番を含む）→ 記載なし
・質問の回答方法 → 記載なし
こんな調査を信じる必然性は全くない。