데이터 수집과 신뢰성 평가

학생회가 '급식에 채식 메뉴를 늘리면 좋겠는가'를 온라인 설문으로 물었다. 전교생 1000명 가운데 300명 가까이 응답했고, 그중 절반 넘게 '좋다'고 답했다. 그래서 학생회는 채식 메뉴를 원하는 학생이 과반이라고 발표했다. 그런데 반마다 직접 물어보니 원하는 학생은 30% 정도였다. 응답자가 수백 명이나 되는 설문이 왜 이렇게 빗나갔을까? 자료를 모을 때 무엇을 확인해야 믿을 만한 자료가 될까?

원하는 학생의 응답률 (%)

원하지 않는 학생의 응답률 (%)

2.3.1표본의 크기와 치우침

전체를 다 조사하기 어려우면 일부를 골라 조사하고 전체를 짐작한다. 알고 싶은 전체를 모집단, 실제로 조사한 일부를 표본이라 한다. 표본이 모집단을 대표하려면 모집단의 모든 구성원이 뽑힐 기회를 고르게 가져야 한다. 그런데 스스로 응답하는 설문에서는 주제에 관심이 많은 사람이 더 많이 응답한다. 이렇게 표본을 뽑는 방식 때문에 결과가 한쪽으로 기우는 것을 표본 편향이라 하며, 응답하는 사람이 치우쳐 생기는 것을 특히 응답 편향이라 한다.

그림 1에서 두 응답률을 바꾸어 보자. 원하는 학생이 50%, 원하지 않는 학생이 20% 응답하면, 응답자는 \(150 + 140 = 290\)명이고 그중 원하는 학생은 150명이다. 설문 결과는 약 52%로 실제 30%를 크게 넘는다. 두 응답률을 똑같이 맞추면 응답자가 적어도 결과는 30% 근처로 돌아온다. 즉 자료의 양보다 자료를 모은 방식이 결과를 더 크게 좌우한다.¹

2.3.2믿을 만한 자료의 조건

자료의 신뢰성은 몇 가지 물음으로 평가할 수 있다. 같은 방법으로 다시 재면 비슷한 값이 나오는가를 묻는 것이 재현성이다. 그리고 재려고 한 것을 제대로 재었는가를 묻는 것이 타당성이다. 설문이라면 누가 응답했는지, 질문이 한쪽 답을 유도하지 않았는지를 확인한다. 센서 자료라면 센서를 표준 기기와 비교해 보정했는지, 센서를 둔 위치가 알맞은지를 확인한다. 미세 먼지 센서를 도로 바로 옆에 두면 그 동네의 공기가 아니라 자동차 배기가스를 재게 된다.

2.3.3예제 풀이

어림한 비율은 \(47 \div 150 \approx 0.31\), 곧 약 31%이다. 실제 30%와 거의 같다.

무작위로 뽑으면 원하는 학생과 원하지 않는 학생이 뽑힐 기회가 같아, 응답률의 차이가 끼어들 틈이 없다. 그래서 응답자 수는 온라인 설문의 절반 정도인데도 결과가 훨씬 정확하다. 물론 표본이 작으면 우연에 따른 오차가 있다. 150명이면 그 오차는 대략 ±7%p 정도이다. 하지만 이 오차는 표본을 늘리면 줄어드는 반면, 응답 편향은 표본을 아무리 늘려도 줄지 않는다. 따라서 자료를 모을 때는 먼저 치우침을 없애고, 그다음에 양을 늘린다.

아래 탐구 카드에서 표본을 뽑는 방법에 따라 결과가 어떻게 달라지는지 확인하고, 미세 먼지 센서 자료의 신뢰성을 평가해 보자.

1. 1936년 미국의 한 잡지는 240만 명의 응답을 모아 대통령 선거 결과를 예측했지만 크게 틀렸다. 설문지를 자동차와 전화 소유자 명단으로 보내 부유층이 많이 응답했기 때문이다. 같은 해 갤럽은 5만 명 남짓의 고른 표본으로 결과를 맞혔다.