대선여론조사를 믿을 수 없다는 이들에게 - 표본크기? 응답률?

펌 => http://tjtjd.pe.kr/176

0.
여론조사를 믿을지는 개인들이 알아서 판단할 문제이나, 그 근거가 박약한 경우가 최근 블로그 등지에서 자꾸 눈에 띄는 바 원칙적인 설명이나 좀 하려고 씁니다. 우선 결론만 말하면 "8000명 전화해서 500명이 응답하는 등 '응답률'이 10%도 안되는 조사결과를 어떻게 믿느냐" 라던가 "꼴랑 1000명 조사한 결과는 신뢰성이 없다"는 이야기는 통계학적 무지에서 비롯한 것입니다. 최소한 그걸 근거로 여론조사 결과를 거짓으로 결론 짓는 것은 무리죠. 물론 모든 이들이 통계학적 지식을 가질 필요는 없으므로 그게 잘못은 아닙니다.

가능한 친절하게 설명하겠지만 귀찮으신 분들은 그냥 내가 틀렸구나...하고 앞으로 그런 얘기 안하시면 됩니다. (정치적인 이유로 수치 자체를 무시하지 마시란 뜻입니다.)

더불어 사람이란 동물은 자신이 선호하는 정보를 더 잘 받아들이고 이해하고 기억하는, 한 마디로 제 입맛에 맞는 것만 잘 소화하는 것이 본능이요, 그 본능으로 만물의 영장 자리를 차지한 것 또한 사실이니 그걸 가지고 책잡을 필요는 없다 하겠습니다.

설명을 위하여 샘플을 하나 두겠습니다.
이 글의 목적은 아래 문장의 의미를 정확히 이해하는 것입니다.

전국 19살 이상 남녀 1000명을 상대로 전화면접 방식으로 이뤄졌다. 응답자 선정은 전국을 지역·남녀·연령별로 비례할당한 뒤 전화번호부를 이용해 조사 대상자를 무작위로 추렸다. 오차한계는 95% 신뢰수준에서 ±3.1%포인트 (리서치 플러스, 한겨레, 10.17일)

1. 1000명??
모든 여론조사는 표본오차와 신뢰수준을 사전에 정하고 시작합니다. 왜? 그래야 표본의 크기를 정할 수 있기 때문입니다. 즉 원하는 수준의 신뢰수준과 표본오차에 따라 표본크기를 정하고 들어갑니다. 왜 표본크기를 정합니까? 많이 조사하면 더 정확한데. 돈이 드니까요. 여론조사는 돈이 많이 드는 일입니다. 따라서 '비용=표본크기'와 '정확도=신뢰수준/표본오차' 사이의 타협이 이루어집니다.

그게 어떻게 하는건지 보고 싶다는 분들은 다음 링크를 참조 하세요.
http://www.marketingschool.com/enroll/digitext/textmr/07-2.htm
굳이 위 내용을 이해하지 않으셔도 제가 한 말의 의미는 아실 겁니다. 계속합니다.

각 언론에서 발표한 여론조사 결과 상의 '***명을 대상으로 조사했다'는 부분의 표본크기도 동일한 과정을 거쳐서 사전에 정해진 것입니다. 단 지금까지의 내용으로 전체 유권자 중 1~2000명 수준의 표본크기를 추출하여 95%±3~4% 같은 조건을 충족시키는 결과가 나오지는 않습니다.

2. 무작위??
표본크기를 더욱 줄이는 문제를 말하기 전에 따로 간단히 언급할 것이 있습니다. 표본추출에 있어서 기본적으로 제기되는 의문은 조사대상으로 뽑아낸 표본이 전체 모집단(population)을 대표할 수 있는가라는 문제입니다. 이걸 고민해야 하는 이유는 완전한 의미의 '랜덤 추출'이란 현실적으로 존재할 수 없기 때문입니다. 1번에서 언급한 공식과 이론은 '랜덤 추출'이 가능하다는 전제하에서 나온 것이죠. 실제로는 그것을 가능한 비슷하게 구현하고자 합니다. 이를 위해 조사기관들은 자신들의 노하우와 여러가지 기법을 동원하여 실제와 이론 사이의 격차를 줄이게 됩니다.

3. 비례할당??
이제 필요한 샘플의 개수를 더욱 줄이기 위해서는 보다 '효율적'인 표본추출이 필요합니다.

통계적으로 효율적인 표본추출이란 보다 적은 표본을 가지고도 동일한 수준의 정확성을 유지할 수 있다는 말입니다. 그것을 위해서 표본의 '대표성'을 증강시키기 위한 방법 중 대표적인 것이 주요한 특성에 따라 집단을 구획하고 비례적으로 추출하는 것입니다. 곧 (대선 조사일 경우) 성, 연령, 지역 등 답변에 영향을 미치는 주요 특성에 따라 모집단을 구획하고 각 구획 안에서 독립적으로 표본을 추출합니다. 다시 말해, 모든 유권자를 하나의 집단으로 보고 랜덤 추출을 할 수도 있지만, 그 특성에 따라 잘 나누어서 뽑으면 더 적은 숫자로도 동일한 수준의 결과가 나온다는 것입니다.

그래서 실제 여론조사에 있어 기술적으로 가장 핵심에 해당하는 부분이 바로 여기까지 입니다. 여론조사를 잘하는 곳과 못하는 곳의 차이는 누가 모집단을 그 특성에 따라 잘 구획하고 그 안에서 적절한 랜덤(과 가장 유사한) 추출을 시행하느냐 입니다. 그 이후에는 실제 조사를 시행하여 적절한 답변을 얻는 설문 스킬이나 결과를 수치로 정리하는 일 등이 그에 뒤따르겠지요.

4. 응답률??
그런데 응답률이라는 개념은 어디서 튀어 나왔을까요. 아래와 같은 내용 때문인 듯 합니다.

전국 19세 이상 남녀 500명(통화시도 8778명)을 대상으로 전화로 조사한 내용 (리얼미터, CBS, 10.17일)

그러니까 8778명에게 전화했는데 500명만 답했으니 응답률이 10%도 안되는 거 아니냐...이것이죠. 이제 짐작이 가시리라 생각합니다만, 8778명에게 전화를 해서 겨우 500명이랑 성공한 것이 아니라 500명의 샘플을 만들기 위해서 8778명에게 컨택을 한 것입니다. 응답을 거부한 사람들은 표본에서 제외되고 재차 랜덤추출을 시도하는 것이지요. 또한 이러한 프로세스가 표본의 질(즉 랜덤한 정도)에 유의미한 영향을 미치지는 않습니다. 사람들이 전화 여론조사를 얼마나 귀찮아 하는지 알 수 있는 정도의 지표는 될 수도 있겠습니다.

물론 정치적인 이슈가 달린 조사일 경우 답변을 성실히 끝낸다는 것 자체가 어떤 의미를 가지고 있을 수 있습니다. 하지만 그러한 성실함은 누구를(혹은 무엇을) 지지하던지에 상관없이 가질 수 있는 특성이지요. 통계적으로 어느 후보의 지지자가 더 열성적으로 전화설문에 응하는지를 고려하는 것은 응답자의 헤어스타일을 감안하는 것과 다름없습니다.

국내의 경우 이에 관하여 좀 더 복잡한 사정이 있습니다. 다음을 참고 하세요. ttp://www.ringblog.net/1098

이에 대한 저의 의견은, 응답률로 인한 직업상 분포의 차이가 누구에게 유리한지 확정지을 수 없다는 겁니다. 현재 발표되는 여론조사는 거짓이다? 그럴 수 있습니다. 숫자는 거짓말을 안하지만 사람은 하니까. 근데 50%가 아니라 70%가 진실이라면 그건 받아들이실 겁니까?

5.표본이 너무 적다??
여론조사에 꼬리표처럼 따라 붙는 '전국 19세 이상 남녀 ****명'이라는 숫자는 그냥 조사하다보니 그 숫자가 된 것도 아니고 대강 짐작이나 해보려고 몇 명한테 전화해본 것도 아니고 미리 다 계획되고 통제된 수치입니다. 인터넷 여론조사는 2만명, 3만명이 참가한 것이니 더 믿을 수 있다는 이야기는 그냥 농담이라고 생각하겠습니다.

6.오차한계는 95% 신뢰수준에서 ±3.1%포인트???
끝으로 이상과 같은 오해를 불러 일으키는 가장 큰 원인인 표본오차(오차한계)와 신뢰수준에 대해서 이야기합니다. 지식인은 물론이요 수 많은 통계강좌에서조차 표본오차와 신뢰수준을 '믿을 수 있는 정도'라고 설명합니다. 바로 이 때문에 이런 저런 이유로 여론조사 결과를 '믿을 수 없다'는 반응이 나오는 게 아닌가 싶습니다.

그러니 강조하겠습니다. 표본오차 95%에 신뢰수준 ±3%p는 조사 결과를 95% 믿을 수 있다거나, 이보다는 좀 더 그럴듯이 보이지만 사실은 그렇지도 않은, 어떤 후보의 지지율이 50%라고 나와 있을 때 실제 지지율은 47~53% 구간에 95% 확률로 존재한다는 의미가 아닙니다.

왜?
① 과학에 몇% 믿을 수 있다는 개념은 존재하지 않습니다.
과학은 사실이 아니거나, 아직 사실이 아니라고 확증할 수 없는 것으로 나뉩니다.
② 실제 지지율, 다시 말해서 모수, Parameter가 무엇인지는 오직 神만이 압니다.
어디에 어느 정도 확률로 존재하는지도 말할 수 없습니다.

그럼 정확한 의미는 뭔가. 해당 표본추출과 조사과정을 동일하게 100번 반복한다면, 그 중에 95번은 조사 결과값의 전후 3%p 구간 내로 나온다는 말입니다. 이해를 위해 활을 쏘는 것에 비유하겠습니다. 당신이 쏜 화살이 50점 포인트에 맞았다면, 똑같은 시도를 100번 했을 때 95번은 47~53점이 나올 것이란 뜻입니다.

7.결론
통계를 너무 맹신해서도 안되지만, 경시하는 것도 어리석은 일입니다. (현실적으로는 좀 더 복잡한 사정들이 작용하고 그 중에 틀리거나 옳지 않은 것들도 있습니다만...) 그냥 원칙적인 얘기로 그 의미를 정확히 알고 받아들이면 현실 파악에 도움이 됩니다. 내 주위엔 아무도 지지 안하는데 왜 어떤 후보가 50%나 나오나 도저히 이해가 안되는 분들은 인터넷 사용 시간을 가급적 줄이고 부모님과 대화 시간을 늘려보세요. 50%라는 숫자가 중요한 게 아니죠. 그리고 세상은 졸.라. 넓으며 그만큼 사람도 많습니다.

현실 파악은 전략을 창출하고 올바른 전략을 성공을 낳습니다. 그리고 아직 시간은 많이 남았습니다.

<