설문조사의 올바른 목적

설문조사의 목표는 객관적인 가설 테스트

설문조사를 실시하기로 결심하고 설문조사 설계의 베스트 프랙티스도 복습했다면, 전체 과정에서 가장 중요한 질문을 던져야 합니다. 설문조사가 가설을 테스트하기 위한 것인가요? 아니면 입증하기 위한 것인가요?

이 두 질문은 보기에는 별 차이가 없는 것 같지만 그 의미는 전혀 다릅니다. 가설을 테스트하려면 기본 가정을 확인하거나 반박하는 편향되지 않은 설문조사를 설계해야 합니다.

가설을 입증하려면 이를 입증하기 위한 데이터를 수집해야 합니다. 또한 가설이 이미 있는 경우, 이미 실시한 조사를 토대로 가설을 신뢰하는 경우가 많습니다.

즉, 나도 모르게 편향된 생각을 갖게 됩니다.

그렇게 되면 의도치 않게 이러한 편향이 설문조사에 반영됩니다. 이를 예방하려면 공평한 의견이 필요합니다. 프로젝트에 참여하지 않는 누군가가 질문지를 검토해 유도질문은 없는지, 응답자에게 영향을 주어 응답이 바뀌게 되는 표현은 없는지 확인하도록 해야 합니다. 설문조사를 아웃소싱하는 경우 해당 시장조사 업체에서 책임지고 이러한 위험을 피할 수 있도록 해야 합니다. 업체는 고객에게 좋은 결과를 제공하는 것 이외에는 시장조사에 관여하지 않아야 합니다.

이제 입증보다는 테스트를 목적으로 편향되지 않은 설문조사를 실시한다고 가정해 보겠습니다. 내 가설을 반박하는 결과가 나오면 어떻게 하나요?

내 기대와 반대되는 결과는 더 큰 영향력을 갖습니다. 물론 내 가정을 입증하는 결과가 나오면 좋겠지만, 내 가정이 입증되지 않았다는 것은 초기 조사에서 무언가 잘못되었다는 의미입니다. 이러한 결과가 더 중요합니다. 돈, 시간, 자원의 낭비를 예방할 수 있기 때문입니다.

설문조사 설계뿐만이 아니라 응답자 대상도 고려해야 합니다. 설문조사 설계가 편향되지 않아야 하듯이 대상에 대한 편향도 예방해야 합니다.

기존 고객만을 설문 대상으로 삼는 경우

헬스장의 새로운 서비스에 대한 사람들의 생각이 알고 싶은 경우, 자연스럽게 헬스장 회원을 대상으로 설문조사를 실시하게 됩니다. 조사를 통해 대부분의 사람들이 새로운 서비스를 기대하고 있으며, 이용량이 크게 증가할 것이라는 결과를 얻었습니다. 하지만 마냥 좋은 결과라고 확신할 수는 없습니다.

헬스장을 열심히 다니는 회원은 내가 듣고 싶은 말만 합니다. 이미 내가 제공하는 서비스 유형이 마음에 들어 회원이 된 사람들이기 때문입니다.

다양한 대상 선정

비정기적으로 헬스장을 이용하는 회원을 대상으로 삼으면 일반 사용자의 흥미 수준을 알 수 있습니다. 또한 경쟁 헬스장의 회원을 통해서 새로운 서비스가 신규 회원 확보를 위한 경쟁력을 어느 정도 갖추고 있는지 파악할 수 있습니다. 탈퇴한 회원을 대상으로 설문을 하면 얼마나 많은 회원을 ‘되찾을 수 있는지’ 를 추정할 수 있으며, 헬스장을 이용하지 않는 사람들을 통해서 새로운 서비스가 얼마나 매력적인지 알 수 있습니다.

응답자 대상은 회원 이외에도 다양하게 존재하며, 이들의 관점을 무시한다는 것은 새로운 서비스의 성공을 도와줄 중요한 데이터 포인트를 무시하는 것과 마찬가지입니다.