인사이트 / 기사
GLG 설문조사 및 맞춤형 리서치

품질 점검을 통해 설문 데이터의 신뢰도 높이기

Beth Simon (GLG Director of Surveys), Matthew Howell (GLG Director of Surveys)

설문조사의 신뢰도는 응답자의 답변 수준에 따라 결정됩니다. 응답자가 흥미를 잃으면, 설문을 빨리 끝내기 위해 무성의한 답변을 할 수도 있습니다. 따라서 설문지에 품질 점검 항목을 넣는 것이 좋습니다.

품질 점검 항목은 응답자의 답변을 추가 검토할 필요가 있는지 알려주는 수단으로 설문지에 작성해 넣거나 프로그래밍할 수 있습니다. 그 형태는 너무 빠르게 설문을 완료한 응답자를 표시하는 단순 경고일 수도 있고, 응답자의 답변이 모순되는 경우 알려주는 프로그램 변수일 수도 있습니다. 이러한 품질 점검 항목을 통해 응답자가 집중하고 있는지, 각 문항에 충분한 시간을 들여 응답하고 있는지, 일관된 답변을 제공하고 있는지 확인할 수 있습니다.

품질 경고에 걸린 응답자를 분석할 때는 ‘삼진아웃제’를 따르는 것이 좋습니다. 응답자가 세 가지 품질 점검 항목을 통과하지 못할 경우, 자동으로 데이터 세트에서 제외해야 합니다. 반면, 한 두 개 항목만 통과하지 못할 때는 추가 검토를 하는 것이 바람직합니다.

필요한 품질 점검 항목의 수는 설문 길이에 따라 달라집니다. 평균 설문 시간(LOI, length of interview)이 10분가량이라면, 3개 정도의 점검 항목으로 충분합니다. LOI가 20분에 가까운 설문이라면, 5~7개의 점검 항목을 넣어 끝까지 응답자가 집중하고 있는지 확인하는 것이 좋습니다.

점검 항목이 데이터의 품질을 확보하는 데 유용하긴 하나, 그것만으로 모든 문제를 예방할 수는 없습니다. 선별질문을 정교하게 설계하면 품질 경고의 발생 빈도를 줄일 수 있습니다. 또한 평소 응답자들과 꾸준히 관계를 유지하는 업체라면 점검에 걸린 응답에 대해 응답자에게 직접 확인을 요청할 수도 있습니다.

주요 품질 점검 유형

품질 점검 항목은 설문에 간단히 포함할 수 있어, 데이터의 품질을 확보하고 최종 데이터 세트의 신뢰도를 높일 수 있습니다.

  • 지식 점검: 설문 주제에 대해 충분히 잘 알고 있는 응답자만 설문에 참여할 수 있도록 하기 위한 항목입니다. 예를 들어, 정확한 정의를 고르게 하거나, 다양한 약어의 의미를 묻거나, 기타 정보를 제공하게 할 수 있습니다. 이러한 문항은 선별질문 섹션에 포함하는 것이 좋습니다.
  • 과속 경고: 응답자가 설문조사를 비정상적으로 빠르게 완료했다면, 질문을 제대로 읽지 않고 응답했을 가능성이 높습니다. 과속 경고는 일정 시간 이내에 응답을 완료한 사용자에 대하여 경고를 활성화합니다. 보통 업계에서는 응답에 걸린 시간이 평균 설문 시간의 3분의 1미만일 경우 과속 응답으로 간주합니다.
  • 상충 응답 경고: 중요한 데이터일수록 확인 절차를 거쳐야 설문조사의 정확도를 높일 수 있습니다. 응답의 일관성을 점검하려면, 같은 질문을 두 번 하거나 유사한 질문을 던져 상충되는 답변이 나오는지 확인해 볼 수 있습니다. 그러나 응답자가 이전 답변을 기억하지 못할 수 있으므로, 후속 질문에서 기존 응답을 함께 보여주는 것이 좋습니다.
  • 레드 헤링: 레드 헤링은 지식 점검과 유사하지만, 응답자가 해당 주제나 산업을 실제로 잘 알고 있는지 확인하기 위한 항목입니다. 예를 들어, 실제 기업명 사이에 가짜 회사를 끼워 넣는 방식으로 질문을 만들어 테스트할 수 있습니다. 단, 가짜 항목이 실제와 너무 비슷하지 않도록 주의해야 합니다.
  • 반복 선택 경고: 이 경고는 응답자가 복수 선택 질문에서 거의 모든 항목을 선택하거나, 행렬형 문항에서 같은 항목을 반복적으로 고를 경우 활성화됩니다.  이와 같은 현상은 피로가 원인일 수 있으므로, 이를 최소화할 수 있도록 설문조사를 설계해야 합니다.
  • 서술형 응답 검증: 서술형 문항에 중복된 응답, 다수의 오탈자, 질문과 무관한 답변, 무의미한 답변이 없는지 확인하는 기능입니다. 응답의 품질을 평가하지는 않으나, 성의 없게 서술형 답변을 작성한 응답자를 가려낼 수 있습니다.

위와 같은 경고와 점검 항목을 설문에 포함함으로써, 설문조사에 투입되는 시간과 비용이 유용하고 실질적인 결과로 이어질 수 있습니다. 여기에 잘 설계한 선별질문과 목적에 부합하는 전문가 패널까지 더해지면, 정량 조사를 통해 강력한 인사이트를 도출할 수 있습니다.

GLG 설문조사는 모든 설문에 품질 점검 항목을 포함하고 있으며, 자체 품질 검토팀이 응답자와 응답 내용을 평가해 데이터 왜곡 가능성이 있는 부적절한 응답을 걸러냅니다. 응답자 패널을 통해 인사이트를 도출하고 싶다면, 지금 GLG와 함께 설문조사를 실시해 보세요.

설문조사 시리즈의 다른 글도 확인해 보세요.

문의하기

궁금한 사항이 있으신가요? 연락처를 남겨주시면 GLG에서 연락드리겠습니다.

Speaker Biographies

Hilary Malone PhD, has over 25 years of experience in global drug development, regulatory &government affairs, manufacturing and commercialization within the biopharma industry. Hilary hassignificant board level and executive committee experience including large scale organizationalrestructuring/transformation/integration, major M&A, biotech start-up, capital raising, investorrelations and pre-IPO.​

Hilary is currently CEO of Stylus Medicine, a private genetic medicine biotech company. Previously sheserved as CEO of a Series-A neuroscience company. Prior to these roles, Hilary served as COO & EVP atValo Health Inc., Chief Regulatory Officer & SVP at Sanofi Inc., and Chief Regulatory Officer & SVP atPfizer and Wyeth. Previous experience also includes senior regulatory and drug development roles atReata Pharmaceuticals Inc., AstraZeneca plc and GlaxoSmithKline plc.​

Hilary also serves on the Board of Directors of Hansa Biopharma and Adthera Bio. Hilary holds a PhD inMolecular Neuropharmacology and a BSc in Physiology.

Dr. Thomas Lönngren is Director at his own company PharmaExec Consulting AB. He is the Chairman of the Board of directors at Egetis Therapeutics AB, Sweden. Dr Lönngren also serves as board member at Compass Pathways PLC, London UK and NDA Group, Sweden. He acts as advisor to the following companies and organizations: NDA group, Sweden, Sweden, Artis Venture, San Francisco, US, Fujimoto Japan, Skin2Neuron Pty Ltd, Sydney, Australia, US, Special advisor to the Centre for Innovation in Regulatory Science (CIRS), London UK. From 2001 until2011, Mr.Lönngren served as the Executive Director of the European Medical Agency. He was previously Deputy General Director of the Swedish Medical Product Agency until 2000. He has a degree in pharmacy and MSc in Social and Regulatory Pharmacy from Uppsala University. He is also an Honorary Member of the Royal Pharmaceutical Society of Great Britain, Honorary Fellow of the Royal College of Physicians in Great Britain, Honorary Doctorate from the University of Uppsala, Honorary Doctorate from University of Bath, UK.

Speaker Biographies

Marie-Anne Aymerich

Marie-Anne has built a portfolio of senior advisory and non-executive roles, following a successful international career in the FMCG and Luxury sectors. She is a non-executive director of Haleon, a FTSE100 company listed in 2022 after the demerger from GSK. She is also chairwoman of Haleon Environment and Societal Sustainability committee. She is the executive director of the Pierre Fabre Group where she also sits on the Strategic Committee, and she is a Board Member of The Academy of St. Martin-in-the-Fields, one of the world’s most prestigious chamber orchestras. She is also an angel investor and focuses her time and investments on start-ups with the strongest purpose and impact.

Marie-Anne is also a regular lecturer at HEC Paris on purposeful leadership, and she has created a serious game called “Planet Purpose” to upskill people on sustainability and purpose. Throughout her 35year executive career she delivered a strong track-record of business performance and growth in brands and portfolio in both developed and emerging economies.

As a senior leader with Unilever, she led a number of different personal care categories across France, Spain and the USA – including managing the Dove brand worldwide and culminating in leading Unilever’s global Oral Care division. She also worked for LVMH as Brand General Manager of Dior Perfumes and Cosmetics worldwide. Marie-Anne was also Vice-President of Imagine for Margo – Children with Cancer for ten years, a charity she helped found in 2011 with the goal of eradicating children’s cancer. The charity is the #1 charity focused on child cancer in France and has fundraised more than €14m since its creation. Marie-Anne is a graduate from HEC Paris. She is married and has two children aged 29 and 26.

Patrick Jephson

Patrick Jephson is a consultant, journalist, broadcaster and New York Times bestselling author, based in Washington D.C. He is a published authority on corporate and personal branding and crisis communications, addressing conferences worldwide as well as events at the U.S. State Department, the American University and the Annenberg School for Communication and Journalism.

With more than twenty-five years’ experience in the government, luxury and family office sectors, Patrick’s portfolio has included globally admired brands as well as national agencies and NGOs. He has also worked on reputation and legacy briefs with European, Middle Eastern and Asian families, including royalty. He now writes, presents, and advises on factual and drama TV programs, appearing on every major American and many international networks. He was recently an expert consultant to the award-winning Netflix series The Crown and provided live commentary on the Coronation of King Charles.

Patrick owes much of his practical communications and protocol experience to Princess Diana, who chose him to be her equerry and only private secretary/chief of staff. He served the Princess for eight years, responsible for all aspects of her public life, global humanitarian initiatives, and private organization. Having worked for an internationally high-profile woman (and as the father of two professionally successful daughters) he feels a special affinity for cross-cultural, gender and perception issues.

Patrick was born and raised in Ireland and holds a master’s degree in political science from Cambridge University. As an officer in the British Royal Navy, he served all over the world before being selected for royal duty. He is a citizen of the U.K., U.S.A., Ireland, and Canada.