좋은 서술형 질문이란 응답자가 신중하게 답변하면서도 주제를 벗어나지 않는 질문

서술형 질문을 제대로 활용하기란 어렵습니다. 잘못 틀을 잡으면 분석하기 어려운 데이터가 나올 수 있습니다. 서술형 질문에 너무 의존하면 중도 포기율이 높아지고 데이터의 질은 떨어집니다. 그렇다고 서술형 질문을 너무 적게 쓰면 귀중한 데이터를 수집할 수 없습니다. 다음을 참고하여 적절한 균형을 맞추세요.

좋은 서술형 질문이란 응답자가 본인의 경험을 바탕으로 숙고하여 의미 있는 답변을 할 수 있도록 충분한 자율성을 주면서도, 주제에서 벗어나지 않도록 잘 구성되어 있는 질문입니다. 어떻게 하면 이런 균형을 맞출 수 있을까요? 첫째로 서술형 질문의 틀을 잡는 올바른 방법을 알아야 합니다.

다음에서 일반적인 서술형 질문 세 가지를 소개합니다.

서술형 질문하면 가장 먼저 떠오르는 유형입니다. 정해진 보기가 없는 질문으로 응답자가 빈칸에 원하는 대로 답변을 적습니다.

장점: 장문형 답변이 아니고는 설문조사에서 드러나지 않는 여과되지 않은 피드백을 얻을 수 있습니다. 사람들의 생각이 궁금할 경우 매우 귀중한 정보를 확보할 수 있으며, 더욱이 생각지도 못한 피드백을 끌어낼 수도 있습니다.

단점: 질문 두세 개에 답을 하고 나서 질문 패턴에 익숙해지면, 설문조사의 구조가 이해되면서 쉽게 답을 써 내려가게 됩니다. 그러다 장문형 질문이 나오면 갑자기 정지상태가 돼버립니다. 뇌의 다른 부분을 써야 하기 때문에 흐름이 끊겨버립니다. 장문형 질문이 3~4개 정도라면 설문조사를 끝까지 완료하겠지만, 이보다 많아지면 응답자는 중도 포기를 심각하게 고민할 수 있습니다.

서술형 후속 질문을 다른 질문과 함께 활용하면 세세한 정보를 알아낼 수 있습니다. 다른 질문과 연계해 응답자가 질문에 대해 특정 방식으로 생각하게 할 수 있습니다. 첫 번째 질문에 답하는 방식에 따라 서술형 질문에 답하는 방식이 달라집니다.

장점: 후속 질문으로 응답자의 답변을 더 깊게 파고들 수 있습니다. 또한 이미 제공한 답을 화면으로 보면서 추가 질문에 답하기 때문에 주제에서 멀어질 가능성도 적습니다.

단점: 일부 응답자는 이미 답을 했기 때문에 추가로 답을 할 필요가 없다고 느낄 수 있습니다. 질문을 필수 항목으로 만들어도 “더 할 말 없음” 또는 “없음”과 같은 공허한 응답만 얻게 될 가능성이 높습니다.

서술형 질문이 아니라 서술형 선택지가 필요한 경우도 종종 있습니다. 기타는 서술형 응답의 가장 일반적인 유형이며, 응답자가 작성하기 가장 쉬운 형태이기도 합니다.

장점: 포괄적이라 모든 것을 망라할 수 있습니다. 사람들이 선택하는 보기의 약 80~90%를 잡아내고 나서 남은 응답까지 확보하기 위해 ‘기타(구체적으로 설명해 주세요)’를 포함합니다. 이를 통해 응답자 경험을 최적화하면서 직접 분석해야 하는 데이터양을 제한할 수 있습니다.

단점: 응답이 다양한 경우에는 특히 분류가 어렵습니다.

일반적인 함정

• 지나친 의존 — 서술형 질문은 응답자에게 많은 부담을 줍니다. 서술형 질문이 너무 많으면 중도 포기율이 높아지거나 답변을 대충 작성하게 됩니다. 답변을 예상할 수 있거나 거의 전부 파악할 수 있는 경우 ‘기타(구체적으로 설명해 주세요)’를 활용하면 응답자의 수고를 덜 수 있습니다.

• 과도한 데이터 발생 — 결국엔 답변으로 얻은 정보를 조합해야 합니다. 무심코 응답자에게 지나치게 긴 답변을 쓰게 해서는 안 됩니다. 적당히 분석할 수 있는 것만 물어보세요. 분석할 수 있는 양은 표본 크기, 응답의 길이, 분석에 할애할 수 있는 시간에 따라 달라집니다. ‘기타(구체적으로 설명해 주세요)’ 서술형 질문만 사용하는 표본 크기 30의 설문조사는 여러 장문형 질문을 묻는 표본 크기 100의 설문조사와 전혀 다른 의미를 갖습니다. 응답자에게 질문하고자 하는 것이 무엇인지 구체적으로 명시해 기대치를 조절할 수 있습니다. (예: “한두 단어로 설명해 주세요”, “여러 문장으로 자세히 설명해 주세요”, 또는 “빠진 것 없이 적어주세요”)

• 잘못된 해석 — 문어에서는 어조, 억양, 태도, 배경 맥락을 확인할 수 없으므로, 결과 해석에 주의해야 합니다. 특히 모호한 응답의 경우 편향된 해석을 할 수도 있습니다. 전체 데이터 세트에서 문장을 동일하게 해석하고 분류하도록 주의하세요. 미심쩍다면 특정 문장을 해석하는 방법에 관한 규칙을 수립하는 것이 좋습니다.

• 이중질문 — 이중질문이란 둘 이상의 사안이나 주제에 관해 물으면서 하나의 답변만 가능한 질문입니다. 서술형 질문의 문제는 모든 사람이 분명하게 글을 쓰지는 않는다는 사실입니다. 응답자가 여러 사안 중 하나에만 답하면 응답을 해석하기 어려워집니다. 특히 어떤 사안에 대한 답을 한 건지 불분명한 경우에는 더욱 어렵습니다. 둘 이상의 사안에 대해 질문하고 싶다면 별도의 질문을 제시해 질문별로 응답을 얻습니다.

• 모호한 질문 — 질문이 모호하면 답변도 모호해집니다. 응답자가 어떻게 답을 하길 원하는지, 어떤 데이터를 수집하고자 하는지 고민하고, 이러한 목표를 달성할 수 있는 구체적인 질문을 물어보세요. 모든 응답자가 비슷한 방식으로 응답해, 동일한 방식으로 결과를 해석할 수 있습니다.

• 서술형 질문이 없는 경우 — 지금까지는 서술형 질문을 제한하고 구성하는 방법에 대해 살펴봤습니다. 하지만 설문조사마다 최소 한두개의 서술형 질문을 넣어야 하는 이유가 있습니다. 서술형 질문은 거짓으로 답하기가 어려워 품질의 척도가 될 수 있습니다. 또한 응답자에게 힘을 실어줍니다. 사람들은 자신의 의견이 가치 있다는 것을 알고 싶어 합니다. 서술형 질문으로 응답자가 추가적인 맥락이나 뉘앙스를 제공할 수 있어 설문조사에 집중하게 됩니다.

• 마지막 고려사항: 필수 또는 선택사항? — 모든 응답자가 질문에 대한 답을 갖고 있다고 생각되나요? 그렇지 않다면 굳이 응답자에게 답을 하게 해서 ‘해당 사항 없음’이나 ‘노 코멘트’를 쓰게 하지 마세요. 대신 질문을 선택사항으로 만들어 통과할 수 있도록 합니다. 반대로 모두가 답을 할 수 있는 질문이라면 질문을 필수 항목으로 만드세요. 그리고 가장 덜 중요한 서술형 질문은 설문조사 마지막에 넣습니다. 그러면 응답자가 가장 중요한 질문에 대해 더욱 신중하게 답변할 수 있습니다.