ニュースを読んでいるとき、ジャーナリストが調査結果で主張を裏付けていると安心感を覚えることがあります。しかし、すべての調査が同じように信頼できるわけではありません。ありがたいことに、信頼できない世論調査にはいくつかの兆候があり、ある程度信頼できる世論調査もあります。そう、世論調査には様々な種類があるのです。

国内で最も有能な世論調査専門家の一人、ジョン・コーエン氏に話を伺いました。彼は過去4年間、サーベイモンキーの最高研究責任者として、新興組織との世論調査の実施に携わってきました。それ以前は、ピュー・リサーチ・センターで研究担当副社長を務め、ワシントン・ポスト紙では8年間世論調査ディレクターを務めていました。コーエン氏によると、テクノロジーの変化はむしろ世論調査を困難にしているとのこと。

問題

「10年前と比べても、今日の世論調査の評価ははるかに厳しい状況にあります」とコーエン氏は言う。携帯電話への通話料は固定電話の2倍になることもある。そのため、現代の世論調査機関はしばしば新しい手法を使わざるを得ない。多くの報道機関は自前で世論調査を行う余裕がないため、外部の世論調査に頼っている。ずさんで不正確な世論調査がメディアに紛れ込む可能性はますます高まっているのだ。

一方、この分野の専門家の間では、世論調査の手法について意見が分かれることが多い。業界最高水準の基準の中には、時代遅れになっているものもある。全米世論調査評議会は「ジャーナリストが世論調査結果について尋ねるべき20の質問」のリストを提供している。しかし、コーエン氏が指摘するように、このリストは10年以上更新されていない。それ以来、インターネットにアクセスできない成人の数は半減し、携帯電話による世論調査の利用は3倍に増加しており、どちらも世論調査員にとって状況を劇的に変化させている。

アンケートは現在、ロボコールや様々なオンライン投票など、様々な安価な方法で実施されています。これらは、自宅への電話が主流だった時代には、どれも疑わしいとされていました。報道機関と協力してオンラインアンケートを実施しているSurveyMonkeyは、サイト上で様々なアンケートに回答する毎日300万人のユーザーから無作為に回答者を選出しています。（SurveyMonkeyの調査方法については、こちらをご覧ください。）

しかし、コーエン氏も認めているように、すべての世論調査専門家がSurveyMonkeyの手法に賛同しているわけではない。FiveThirtyEightの世論調査機関評価では、SurveyMonkeyはC-とされている。一方、コーエン氏は、FiveThirtyEightが一部の世論調査機関の評価を高くしすぎており、運が良かっただけの選挙結果であっても、その機関に報酬を与えていると考えている。しかも、これは調査で提携している2つのサイト間の話だ。

世論調査の専門家の間でも、いくつかの基本原則について意見が分かれています。例えば、一般人口を代表する膨大な数の人々に調査を試みるべきか（そして結果をフィルタリングすべきか）、それとも登録有権者や不動産所有者といった特定の対象集団から始めるべきか、といった点です。つまり、良い世論調査の定義は、どの専門家に聞くかによって変わってくるのです。とはいえ、専門家はいくつかの重要な要素について意見が一致する傾向があり、ニュースで目にする世論調査結果を判断する際に、これらの要素を参考にすることができます。

解決策

NCPPの20の質問は古いものですが、今でも良い出発点となります。これらは世論調査について書くジャーナリスト向けに用意されたものです。しかし、質の低い世論調査がメディアで報道されるケースが増えている今、これらの質問は読者にとっても有益です。「誰が世論調査に資金を提供したのか？」「標本誤差はいくらか？ 」といった質問に加え、実際に誰が調査対象になったのかという質問も含まれています。（NCPPはそれぞれの回答の意味合いについて詳しく説明しています。）

コーエン氏は新たな疑問をいくつか提起している。回答者は無作為に選ばれたのか、それともCNNの記事に埋め込まれたアンケートに「オプトイン」したのか？後者は結果を大きく歪め、回答者が人口統計に関する質問にも回答していない場合、結果の歪みを正すのは困難だ。（コーエン氏によると、SurveyMonkeyの回答者は高学歴である傾向があり、SurveyMonkeyはこの点を調整しているが、それ以外は国勢調査データと一致する傾向があるという。）したがって、あらゆる世論調査、特にオンライン世論調査では、回答者がどのように選ばれたかを確認する必要がある。

どれくらいの人が調査対象になったのでしょうか？コーエン氏によると、サンプル数が少なくてもきちんとした調査は価値があるものの、100人未満の回答者では信頼できる結果は得られず、理想的にはもっと多くの回答者が必要だそうです。

したがって、複数のサブグループに分けて結果を分析したい場合は、まず1,000人、できれば10,000人を対象に調査を行う必要があります。500人に調査したとしても、そのうち黒人が60人しかいなければ、その60人の黒人回答者について有意義な結果を得ることはできず、彼らが全国平均を代表していると見なすことはできません。たった一人でも意見が変われば、結果は1パーセントポイント以上も変わってしまうでしょう。（コーエン氏によると、稀な集団の場合、世論調査員は75人程度の回答者数で妥協することもあるそうです。）

実際にどのような質問がされたのでしょうか？コーエン氏によると、信頼できる世論調査機関は、質問内容と複数選択の回答を公開するはずです。これらを知ることで、結果の意味は大きく変わってくるのです。

コーエン氏によると、イラク戦争中、ある調査報告書はアメリカ人の4分の3が1年以内に米軍をイラクから撤退させたいとしている。しかし、反戦団体の資金提供を受けたこの調査は、望ましい回答を得るために仕組まれたものだった。回答者は4つの選択肢を提示された。3ヶ月以内、6ヶ月以内、1年以内、あるいは「必要なだけ駐留」したいか、だ。例えば、2年または3年で撤退させたいといった選択肢はなかった。世論調査の結果に価値がないわけではない（多くの人がイラクからの米軍撤退を望んでいることは示していた）が、見出しで主張されているような意味合いは実際にはなかった。そして、次の疑問が浮かび上がる。

結果はどのように報告されているのでしょうか？世論調査の詳細が非常に少なく、他の質問すべてに答えられないような場合は、疑ってかかるべきです。ピュー研究所、ワシントン・ポスト紙、クイニピアック大学といった一流の世論調査機関や報道機関は、調査方法、データ、そしてそのデータの調整方法についてオープンにしています。ワシントン・ポスト紙では、コーエン氏のチームが電話調査とオンライン調査を並行して実施し、調査方法が結果にどのような影響を与えるかを検証しました。そのため、彼らはある方法で調査を行う際に、その方法をどのように調整すればよいかを把握しています。

信頼できない世論調査には、明らかな兆候があります。「小数点付きの世論調査は、すぐに却下します」とコーエン氏は言います。「どんなに実施されたとしても、人々の考え方を10分の1パーセントポイントの精度で表すことはできません。」世論調査機関が回答者の一部から結果を導き出そうとしていないか、あるいは調査結果の意味を誇張していないかを確認しましょう。

2007年の民主党予備選挙において、ワシントン・ポスト紙のコーエン氏のチームは、多くの黒人有権者がクリントン氏からオバマ氏へと移行していると最初に報じた。彼らはわずか136人の黒人回答者を対象とした世論調査でこの事実に気づいたが、自らの調査方法に信頼を寄せていたこと、そしてその変化があまりにも顕著だったことから、統計的なノイズではないと確信していた。もし変化の規模が半分程度であれば、彼らはデータに信頼を置いて報道することはなかっただろう。

他の世論調査はどうなっているのか？コーエン氏は、不完全な世論調査でも有用であることが多いと考えている。しかし、他の世論調査と比較することは有益だ。たとえ熱心な支持者による電話調査であっても、よくできた世論調査を必ずしも無視すべきではない。

共和党と民主党はそれぞれ3～4ポイントずつ偏向した世論調査を実施している。しかし、コーエン氏によると、これは必ずしも個々の世論調査が偏っていることを意味するわけではなく、各党が自らの見解を裏付けないような世論調査結果を発表していないだけだという。これらの党派的な世論調査を平均化すれば、依然として有用な結果を生み出す可能性がある。

公平な第三者機関による世論調査の実施と報告がもっとあれば良いのですが、費用の負担が大きすぎるため、そうした世論調査は十分に行われていません。ここ数十年で、人々に世論調査に参加してもらうのは非常に難しくなり、平均的な世論調査の回答率は10%を下回っています。そのため、私たちは歪んだ世論調査、部分的に報告された世論調査、あるいは何らかの欠陥のある世論調査から得られるものしか得られません。FiveThirtyEightは、優れた世論調査機関の結果を有利にするように平均値を算出しますが、既知の誤りや偏りに基づいて調整を試みた上で、欠陥のある世論調査機関の結果も考慮に入れます。（同サイトが評価している数百の世論調査機関のうち、禁止したのはわずか5社です。）欠陥のある世論調査は、完全に無視するよりも、ある程度鵜呑みにしない方が賢明です。

世論調査データの基準となる人口統計を作成している米国国勢調査局でさえ、基準が変化しています。人種や民族に関する質問と回答の選択肢を改良したことで、統計を10年ごとに直接比較することが難しくなっています。世論は、私たちが正確に測定できる物理的な定数ではありません。微妙なニュアンスがあり、影響を与えずに測定するのは難しく、常に変化しています。ですから、どんな世論調査も絶対的で時代を超えた真実だと考えるべきではありません。