통계적 유의성이 부족한 경우

얼마나 많은 정보를 수집해야 신뢰할 수 있는 데이터 세트를 확보할 수 있을까요? 통계적으로 유의미한 결과의 필요성은 과장된 경우가 많습니다. 양이 많다고 질이 좋은 것은 아니기 때문입니다. 그렇다면 충분한 데이터를 확보했는지 언제 알 수 있을까요?

아래에서 몇 가지 고려사항을 살펴보겠습니다.

의사 결정의 종류

다가오는 휴일 파티에 대한 직원 의견을 조사하려고 하나요? 아니면 새로운 치료법에 대한 의사의 의견을 알고자 하나요? 데이터 결과의 사용 목적에 따라 내가 감수할 수 있는 위험 및 불확실성의 수준도 달라질 수 있습니다. 정확한 대표성 확보가 얼마나 중요한가요? 죽느냐 사느냐 하는 문제가 아닌 이상 대부분의 경우 어느 정도의 불확실성은 감수할 수 있습니다.

설문조사 대상

포천(Fortune) 500대 기업의 최고경영진은 그릭 요거트 소비자와 다른 가치의 데이터를 제공합니다. CEO 한 명의 의견은 일반 소비자 한 명의 의견과 마찬가지로 개인의 의견이지만, CEO의 데이터가 더 중요한 의미를 갖습니다. 그 이유는 다음과 같습니다.

단순히 통계적으로 유의미한 응답자 수를 얻기 위해 100명의 부적절한 응답자로 표본을 희석하기보다는 내 기준을 정확히 충족하는 20명의 CEO로부터 인사이트를 얻는 것이 낫습니다.

통계적으로 유의미하지 않은 데이터의 의미

데이터로부터 무엇을 알 수 있나요? 내 표본의 응답이 얼마나 분산되어 있나요? 응답의 분산이 적을수록 결과에 대한 신뢰도도 높아집니다. 반대로 분산이 높다면 표본 크기를 키워 통계적 대표성을 높이도록 합니다.

주의사항

결과가 통계적으로 유의미하지 않다면, 모집단에 어떤 편향이 있는지 반드시 확인해야 합니다.

편향은 파악하기 쉽지 않으며 통계적으로 유의미한 결과에도 존재합니다. 문제는 작은 표본에서 편향이 더 큰 영향을 미치게 됩니다. 나의 편향을 이해하면, 통계적으로 유의미한 모집단으로부터 결과를 벗어나게 하는 요인을 고려해 더욱 정확하게 결과를 분석할 수 있습니다.

이해를 돕기 위해 다시 한번 포천 500대 기업의 CEO를 예로 들겠습니다. 응답자 구성이 특정 산업(예: 헬스케어)을 지나치게 대표해 다른 응답이 나오는 건 아닌가요? 이러한 편향을 알면 데이터에서 헬스케어 응답자의 가중치를 조정하여 전체 표본에서의 실제 분포를 반영할 수 있습니다.

신뢰 수준과 오차 범위

본 가이드는 통계를 다시 배우기 위한 글이 아닙니다. 통계 관련 정보는 수많은 다른 인터넷 웹사이트에서도 쉽게 찾을 수 있으며, 사실 대부분의 사람들은 통계에 대한 글을 읽고 싶어 하지 않습니다. 하지만 관련 용어를 알고 있으면 도움이 됩니다.

여기서 배울 내용은 신뢰 수준과 오차 범위로, 이를 사용하면 어느 정도의 불확실성을 감수할 수 있는지 알 수 있습니다.

• 신뢰 수준. 신뢰 수준은 동일한 조사에서 모집단을 대표하는 결과를 반환하는 확률입니다. 보통 95% 또는 99%의 신뢰 수준을 사용합니다. 100번 테스트했을 때 5번 통계적 대표성을 갖지 못하는 결과를 반환해도 괜찮은지, 100번 중 한 번만 그러한 결과를 반환해도 괜찮은지 선택해야 합니다.
• 오차 범위(MOE). 오차 범위로 모집단을 묘사하는 통계의 오차를 측정할 수 있습니다. 예를 들어, CEO의 72%가 코로나-19로 인해 2020년 매출이 타격을 입을 것이라고 답변했을 때 오차 범위가 4%라면, 실제 이렇게 생각하는 CEO의 백분율은 68%~76% 사이가 됩니다.

더 정확한 수치를 원한다면 오차 범위를 2~3%로 할 수도 있습니다. 대부분의 조사에서 허용하는 최대 오차 범위는 8%로, 5%가 적당한 타협점이라고 할 수 있습니다.