サーベイの趣旨に立ち返る

サーベイの目的は、仮説を客観的に検証することです。アンケートの設計や回答者層にバイアスがかからないようにしましょう。

あなたはサーベイを実施しようと決め、サーベイ設計のベストプラクティスに磨きをかけようとしています。ここで、プロセス全体に関する、1つの重要な質問に答えてください。あなたがサーベイを行うのは、仮説を検証するためですか？ それともそれを証明するためですか？

違いは些細なものに感じられますが、これが意味することはとても重要です。「仮説を検証する」とは、その裏付けとなっている推定が正しいか正しくないかを証明する、公平なサーベイを設計することです。「仮説を証明する」とは、すでに決定したストーリーの裏付けとなるデータを収集することです。仮説を持っているということは、通常、すでに行われた一定レベルのリサーチによる強い裏付けがあり、その仮説を信じている状態だといえます。

知っていることも知らないことも、どちらもバイアス
偏った考えを持っていると、作成しようとしているサーベイの中に知らずしらずのうちにその偏見を持ち込んでしまう可能性があります。これを防ぐために、公平な見方が必要となります。回答者に影響を与え、回答を変えてしまうような誘導的な質問や言葉遣いがないか、プロジェクトに参加していない人にサーベイを見直してもらうのが良いでしょう。サーベイの作成をアウトソーシングすれば、公平なサーベイの作成をその調査機関に委ねることができます。

検証を目的としたサーベイで仮説を否定するような結果が出た場合、どのように対処しますか？

期待を裏切る結果は、実はよりインパクトがあります。もちろん、推測を立証する結果が得られたのなら、それは素晴らしいことです。しかし、想定が外れたということは最初のリサーチに何か問題があったということです。この結果は、コストや時間、資源を無駄にする可能性のあった誤った判断を避けることができるため、実質的に重要だといえます。これはサーベイ設計だけに関わる問題ではありません。回答者の母集団も考慮する必要があります。設計の偏りを回避するのと同様に、サーベイに参加する回答者にも偏りがないようにする必要があります。

調査対象は顧客のみで良いのか？
例えば、ジムが提供する新しいサービスに対する人々の評価を調査したいとします。このような場合には、ジムの会員に対してサーベイを行うのが自然な流れです。調査の結果、サービスに期待している人が多く、利用回数も大幅に増加するだろうと見込まれています。

しかしながら、熱心な支持者なら、あなたが望む答えを提供してくれるでしょう。彼らが会員であるのには理由があります。つまり、彼らはすでにそのジムのサービスに好意的であるから会員になったのです。