調査結果に統計的な優位差がないとき

By Will Mellor, GLGサーベイチームディレクタ―

Read Time: 4 Minutes

意思決定のプロセスに情報を提供するために、統計的に有意なサンプルサイズが必要な場合がありますが、リーチするのがが難しい回答属性や厳しい予算によって統計的に有意なサンプル数に到達する能力が制限されることがあります。しかし、心配はいりません。少ないサンプル数から得られる方向性を示すデータは、結果に自信を持つのに十分なことが多いのです。

統計的に有意な結果がどの程度必要とされるかは、しばしば誇張されています。データは多ければ多いほど質が良くなるわけではありません。では、今あるデータが十分なデータであるかどうかは、どのように判断すればよいのでしょうか。

この問題を考えるいくつかの要素があります。

どのような意思決定をするのか？

あなたは今度の忘年会について従業員に希望調査をしているのでしょうか、それとも新しい治療法について医師を調査しているのでしょうか。サーベイ結果を利用する目的に応じて、許容できるリスクや不確実性のレベルは異なるでしょう。正確な表現はどれほど重要ですか？もし意思決定が生死に関わるのなら、その場合は間違いなく重要でしょう。しかし、たいていのことは生死に関わるものではありませんし、あるレベルの不確実性は耐えることができます。

サーベイの対象者は誰か?

フォーチュン500に選ばれた会社の経営幹部は、例えばヨーグルトの消費者とは異なるレベルのデータを提供してくれます。CEOから得るデータもヨーグルトの消費者から得るデータも同様に1つの調査結果ですが、CEOのデータにはより影響力があります。これには、いくつかの重要な理由があります。

母集団の人数 フォーチュン500のCEOは、もちろん500人です。では、特定ブランドのヨーグルトの消費者は何人いるでしょうか？正確な数字はわかりませんが、何百万人もいるはずです。500人のうちの1人は、何百万人のうちの1人より影響力があると考えるのが自然です。
高度な専門性 CEOになるために必要な専門知識は、ヨーグルトを購入するのに必要な知識よりも高度だと言えます。データが一定のテーマに関する経験、訓練、継続的な学びから得られたものである場合、より小さなデータセットでより大きな信頼性を得ることができます。

基準を正確に満たした20人のCEOからインサイトを収集することは、統計的に意味のある回答者数を達成するためだけに基準を満たさない100人のサンプルでデータを希薄化するよりもはるかに望ましいと言えます。

統計的に有意でない場合、有意性はないのか？

サンプルサイズにおける回答の分散はどの程度でしょうか？回答の分散が小さければ小さいほど、得られる結果の信頼性は上がります。反対に、分散が大きいときには、統計的な代表性を高めるために、より大きなサンプルサイズを検討してください。

注意点

結果が統計的に有意でないときは、その母集団にどのようなバイアスがあるのか、しっかりと理解する必要があります。

バイアスは厄介で、統計的に有意な結果の中にも紛れています。問題は、サンプルサイズが小さい場合、バイアスが必要以上の重みを持ってしまうことです。バイアスがあることが分かれば、統計的に代表的な母集団の結果を揺るがす要因を考え、結果をより正確に分析できるようになります。

この点を説明するために、フォーチュン500のCEOの例をもう一度考えてみましょう。回答者が特定の業界（例えばヘルスケアだとします）から過度に集まっているために、回答がやや偏っているということはありませんか？これを知ることによって、データ中のヘルスケア関連の回答者の比重を調整し、サンプル全体に正しい影響率を反映させることができます。

信頼水準と誤差の範囲

この項の目的は、統計学の復習ではありません。その手の情報はインターネット上にたくさん出ていますし、ほとんどの人は統計学について学ぶのをあまり好んでいないようです。しかし、統計学は専門用語に慣れるのをサポートしてくれます。

知っておくべきことは、信頼水準と許容誤差は、どの程度の不確実性を許容できるかを決めるためのものであるということです。

信頼水準 信頼水準は、95%のレベルか99%のレベルで測定されており、同じサーベイを繰り返したときにどのくらいの頻度で真に母集団を代表する結果をもたらすかを示すものです。100のテストのうち5つが統計的に代表性のない結果を出しても構いませんか？それとも、100のテストのうち1つしかそうならない方がよいですか？
許容誤差(MOE) 許容誤差は、母集団を説明しようとする統計値からの誤差プラス／マイナス（+/-）を計測するものです。例えばCEOの72%が、新型コロナウイルスが2022年の売上げに悪影響を及ぼすことを懸念していることが分かったとします。4%の許容誤差なら、実際には68%から76%の間であることになります。

正確さをもとめるのであれば、許容誤差2 ～ 3%を目安にすると良いでしょう。ほとんどの調査員が許容する最大の許容誤差は8%です。5%の許容誤差はちょうどよい落とし所と言えます。

覚えておくべき重要ポイント

結果は、必ずしも統計的に有意である必要はありません。もし小さなサンプルでサーベイを行い、その結果に満足できない場合は、条件にマッチする回答者を追加で探し統計的に有意なサンプルサイズに到達することを目指してください。もしそれが不可能な場合は、データの欠点を理解し、それ相応に統計的な代表をシミュレーションして調整してください。サーベイの結果に自信があれば、意思決定にも自信が持てます。

GLGサーベイシリーズの他の記事

定量調査の基本と効果的な戦略をまとめたeBook「結果を出すためのサーベイ戦略」も無料でダウンロードいただけます。

GLGでは、世界で100万人の有識者を対象としたB2B調査、GLGサーベイをご提供しています。特定分野、業界専門家への調査ニーズがございましたら、お気軽にご相談ください。

ニュースレター登録（無料)

業界の最新動向、無料ウェビナー情報、活用事例などをお届けしています。（メールは英語です。）