선별 질문 섹션의 함정과 주의사항

일에 적합한 사람을 찾는 것은 언제나 중요합니다. 의사의 소견을 듣고 싶다면 조사를 통해 적합한 전문의를 찾아야 합니다. 하청업체의 의견이 궁금하다면 추천을 받아 적합한 기술을 갖춘 업체를 찾아야 합니다.

설문조사도 마찬가지입니다. 설문조사를 시작하기 전에 적합한 대상을 찾기란 쉽지 않습니다. 그래서 모든 설문조사에는 선별 질문 섹션을 넣어야 합니다. 적당해 보이는 집단을 폭넓게 타겟팅할 수도 있으나, 잘 설계된 선별 질문 섹션을 활용하면 미세 조정을 통해 적합한 대상을 확보할 수 있습니다.

잘못된 선별 질문 섹션의 위험

선별 질문 섹션을 잘못 설계하면 엉뚱한 사람이 설문조사에 참여하게 될 뿐만 아니라 적합한 대상이 조사에 참여하지 못하게 됩니다. 보통 잘못된 대상을 선정하지 않도록 엄격한 자격 기준을 유지하다가 이런 결과가 나오게 됩니다. 하지만 현실은 복잡하기 때문에 엄격한 자격 기준과 타깃 모집단에 대한 이해 사이의 절충이 필요합니다.

잘못된 선별 질문의 예

사이버보안 플랫폼의 구매 의사결정자를 대상으로 설문조사를 하고 싶은 경우를 가정해 보겠습니다. 타깃 모집단은 최고정보보안책임자(CISO)이기 때문에 CISO만 설문에 참여하도록 선별 질문 섹션을 설정합니다.

하지만 모든 업체에 CISO가 있는 것은 아닙니다. 많은 기업의 경우 CIO 또는 CTO가 같은 역할을 하고 있습니다. 또한 회사마다 직함에 따른 의미가 달라집니다. 모든 가능한 결과를 고려해야 할 필요는 없지만, 잠재적 대상의 80~90%는 포착하는 것을 목표로 해야 합니다.

탄탄한 선별 질문 섹션 설계를 위한 도움말

무엇을 해야 하는지 배웠으니 이번에는 선별 질문 섹션의 설계 방법을 살펴보겠습니다. 이 섹션의 목표는 종료 로직을 사용해 자격 기준 미달인 응답자를 설문조사에서 제외하는 것입니다. 답변이 부정확할 경우 ‘죄송합니다. 본 설문조사 기준을 충족하지 못하셨습니다. 참여해 주셔서 감사합니다.’라는 메시지가 표시됩니다. 아래의 방법을 활용하면 적절한 응답자를 선별할 수 있습니다.

• 최대한 설문조사의 진짜 주제를 숨기세요. 이렇게 하면 응답자는 자신이 생각하는 ‘올바른’ 답을 클릭하게 되므로 설문조사를 속이기가 더욱 어려워집니다. 예를 들어, 맥심 커피 소비자를 대상으로 설문조사를 하고 싶다면 우선 가정에서 어떤 음료(우유, 주스, 커피, 에너지 드링크 등)를 구매하는지 묻고, 그다음에 커피를 구매하는 이를 대상으로 어떤 커피 브랜드(프렌치카페, 네스카페, 카누 등)를 구매하는지 물어봅니다. 이렇게 하면 응답자는 어떤 보기를 선택해야 설문조사 참여 자격을 얻을 수 있는지 절대 알지 못합니다.
• ‘예’ 또는 ‘아니요’를 선택하는 단순한 질문은 피하세요. 대신 다양한 보기를 제공해 정답을 선택하는 응답자가 설문조사 참여 자격을 얻도록 합니다.  예를 들어, “당신은 CISO입니까?”라고 묻는 대신 “당신의 역할은 무엇입니까?”라고 질문하고, CISO를 포함한 4~5가지 역할을 함께 제시합니다. 위의 예처럼 정답이 하나 이상일 수도 있습니다.
• 레드헤링(Red Herring)을 한두 개 포함하세요. 레드헤링이란 주의를 기울이지 않거나 설문조사 대상으로 선정될 수 있는 보기를 고르려고 하는 응답자를 잡아내기 위한 거짓 보기입니다.
• 포괄적인 질문으로 시작해 점차 범위를 좁히세요. 선별 질문을 하나씩 답할 때마다 더 많은 응답자를 걸러낼 수 있어야 합니다. 이렇게 하면 순차적으로 어디서 응답률이 저조한지 더 쉽게 파악할 수 있습니다. 설문조사를 실시할 땐 문제를 재빨리 진단하고 대응해야 합니다.
• 계획적이고 간결하게 작성하세요. 질문자의 피로도를 낮추려면 모든 선별 질문 섹션 질문에 종료 로직을 포함해야 합니다. 최대한 간결하게 선별 질문 섹션을 작성하고, 마지막에 설문조사 대상으로 선정되었다는 메시지를 포함합니다.
• 추가 팁: 선별 질문을 활용해 시장점유율을 평가하세요. 설문조사의 목표 중 하나가 시장점유율 파악이라면 선별 질문 섹션으로 이를 확인할 수 있습니다. 설문조사가 통계적 대표성을 갖도록 설계하면, 걸러낸 응답자의 수와 설문조사 대상으로 선정된 응답자의 수를 비교해 더 큰 모집단에 대한 시장점유율을 이해할 수 있습니다.

이러한 설계 원칙을 따르면 적절한 대상이 설문조사에 참여하게 되어, 데이터의 질을 높이고 더 나은, 더욱 신뢰할 수 있는 결과를 얻을 수 있습니다.