응답률이 높아지면 여론조사를 믿을 수 있는가?

여론조사가 계속해서 문제다. 요즘은 좀 잠잠해졌지만, 4월 총선 이후에는 여론조사에 관한 많은 문제점들이 지적되었다. 지난 5월 27일 국회에서 열린 ‘선거 여론조사 개선 방안 마련을 위한 공청회’에서는 선거 과정에서 문제가 된 여론조사를 비판하면서, 향후 이러한 부정확한 여론조사가 횡행하는 것을 막기 위한 대안들이 제시되었다.

공청회에서 논의된 대안들을 요약해 보면, 여론조사 기관에 대한 인증제, 검증된 기관에 대한 휴대전화 안심 번호 제공, 응답률 10% 이상인 여론조사만 공표 허용, 선거일 전 6일 공표 금지 규정 폐지 등이다. 그러나, 이러한 대책들은 현재 행해지고 있는 여론조사들의 문제점을 정확하게 파악하고 있지 못하며, 따라서, 그 대안 역시 여론조사 개선을 위한 방향이 되지 못한다. 앞으로 블로그를 통하여 문제점들과 대책들을 짚어보기로 한다. 구체적으로 응답률, 표본 추출 과정, 조사 과정, 언론 보도 등을 중심으로 논의한다.

여론조사의 문제점이 지적될 때 마다 매번 나오는 지적은 응답률이 낮다는 것이다. 낮은 응답률이 여론조사의 품질 저하의 원인이라는 지적에 대한 근거로 ‘미국에서는 응답률이 30퍼센트가 넘지 않으면 공표하지 못한다’는 것이 항상 제시되고는 한다. 언론에 인용된 중앙선관위 공무원 역시 미국에는 응답률 30퍼센트 이하 공표 금지 규정이 존재한다고 하였고 (중앙일보 2016년 5월 12일, http://news.joins.com/article/20013439), 공청회에서 발제를 맡은 국회의원 역시 이 규정을 예로 들면서 응답률 문제를 지적하였다 (YTN 2016년 5월 28일, http://www.ytn.co.kr/_ln/0101_201605280511326358).

언제부터인가 국내의 여론조사에 관한 논의에서 이 응답률 30퍼센트가 빠지지 않고 등장하는데, 그 근원이 어디인지는 아무도 모른다.

그러나, 미국에 응답률이 30퍼센트 이하일 경우에 공표하지 못한다는 규정은 존재하지 않는다. 30퍼센트가 아니라 응답률로 여론조사 결과의 공표 여부를 결정하는 것 자체가 존재하지 않는다. 우리처럼 응답률이 여론조사의 품질을 결정한다고 생각하지도 않는다.

미국 여론조사 협회 (American Association for Public Opinion Research 이하 AAPOR)에서 권고하는 여론조사 공표 시 발표해야 하는 항목들은 다음과 같다 (http://www.aapor.org/Standards-Ethics/AAPOR-Code-of-Ethics/Survey-Disclosure-Checklist.aspx)

Survey Disclosure Checklist

In accordance with minimum disclosure requirements of the AAPOR Code of Professional Ethics and Practice, every survey researcher should disclose each of the following elements in any report that is for public release, or be prepared to disclose this information promptly:

• Name of the survey sponsor (여론조사 발주처)
• Name of the organization that conducted the survey (여론조사 수행기관)
• The exact wording of the questions being released (여론조사 문항)
• A definition of the population under study. What population is the survey designed to represent? (모집단)
• A description of the sampling frame used to represent this population (표집틀)
• An explanation of how the respondents to the survey were selected (표본 선택 방법)
• The total sample size (표본 크기)
• The method or mode of data collection (여론조사 수행 방법)
• The dates and location of data collection (여론조사 수행 기간 및 장소)
• Estimates of sampling error, if appropriate
• A description of how the data were weighted (or a statement that they were not weighted), and any estimating procedures used to produce the final results (가중치 적용 방법)

If the survey reports findings based on parts of the sample rather than the total sample, then the size of the subgroups reported should be disclosed
 

위의 항목들에 응답률은 포함되어 있지 않다.

물론, 많은 여론조사 기관들이 응답률을 계산하고 발표하고 있기는 하다. 그러나, 미국 여론조사 협회에서 응답률 발표를 강제 혹은 권고하는 것은 아니라는 의미이다. 필자가 인터뷰한 미국 여론조사 협회, 그리고 유수의 미국 조사 기관들은 필자가 한국에서 미국의 30퍼센트 응답률 규정을 인용한다고 하자, 오히려 흥미롭다는 듯, 그런 응답률은 현실적으로 가능하지도 않을뿐더러 조사의 품질과도 큰 관련이 없다고 하였다.

미국 여론조사 기관들 역시 지속적으로 낮아지는 응답률로 인하여 고민을 하고 있는 것은 사실이다. 그러나, 휴대전화를 통한 조사의 응답률 증가가 집전화 응답률 저하를 상쇄하면서 현재는 9-10퍼센트 대의 응답률이 안정적으로 나타나고 있다고 하였다. 여기서 주의해야 할 점은 미국 여론조사 기관들의 응답률 계산 방법이 우리나라와는 다르다는 것이다. 대부분의 미국 기관들은 AAPOR 제3 계산법을 사용하여 응답률을 계산한다. 소위, 응답률 (response rate)와 협조율 (cooperation rate)를 구분하여 사용하는 데, 우리나라에서 사용하는 응답률은 미국의 협조율 개념이다 (AAPOR Standard Definitions, http://www.aapor.org/AAPOR_Main/media/publications/Standard-Definitions20169theditionfinal.pdf). 미국의 응답률 정의를 사용할 경우, 우리나라의 응답률은 더 떨어질 것이다. 미국의 협조율 (우리나라에서의 응답률)은 조사 완료 수를 조사 완료 수와 거절 수를 더한 값으로 나눈 값이다. 애초 표본에 포함된 번호 중 접촉이 아예 이루어지지 않은 경우는 미국의 응답률 계산에서는 분모에 포함되나, 우리의 경우에는 포함되지 않는다.

응답률이 낮을 경우의 문제는 여론조사에 응한 사람들과 응답하지 않은 사람들 사이에 체계적인 차이가 존재할 가능성이 있기 때문이다. 그러한 체계적인 차이로 인한 오류가 계속해서 발생할 경우, 낮은 응답률은 조사의 신뢰도에 문제를 일으킬 수 있다. 그러나, 현재 미국식 응답률 계산에 따른 9-10퍼센트 응답률은 그러한 오류 (bias)를 보이지 않고 있다. 미국 학계의 결론은 현재의 응답률 (10퍼센트 정도)은 체계적인 오류를 발생시키고 있지 않다는 데에 있다.

우리 여론조사의 문제는 낮은 응답률이 아니라 보다 근본적인 데에 있다. 근본적인 문제에 대한 접근을 회피하면서 응답률만을 문제 삼게 되면, 제 아무리 응답률을 높이는 방법을 쓰더라도 조사의 품질 향상을 기대할 수 없게 된다.

결론적으로 응답률 10퍼센트 미만인 여론조사 공표 금지는 여론조사의 품질 향상과 아무런 상관이 없다.

* 본 블로그의 내용은 연구진들의 개인적인 견해이며, 아산정책연구원의 공식적인 의견이 아닙니다.