자료 해석과 가설 검증

빨간빛에서 기른 강낭콩의 평균 줄기 길이가 파란빛에서 기른 것보다 1.5 cm 길었다. 가설대로이다. 그런데 똑같은 실험을 한 번 더 하면 차이가 0.5 cm일 수도, 3 cm일 수도, 거꾸로 −0.5 cm일 수도 있다. 평균 차이 하나만 보고 가설이 맞았다고 해도 될까? 자료를 해석한다는 것은 그 차이가 우연으로 설명되는지, 얼마나 큰지, 얼마나 확실한지를 따지는 일이다.

모둠마다 표본 수

평균 차 (cm)

3.1.1신뢰 구간과 p값

표본에서 얻은 평균 차이는 참값을 중심으로 흔들리는 추정값이다. 그 흔들림의 크기가 평균 차의 표준 오차 \(s\sqrt{2/n}\)이다. 평균 차에서 표준 오차의 약 2배를 빼고 더한 범위를 95% 신뢰 구간이라 한다. 같은 실험을 여러 번 되풀이하면, 이렇게 만든 구간의 95%가 참값을 포함한다. 그리고 실제로 효과가 없을 때 지금만큼 큰 차이가 우연히 나올 확률을 p값이라 한다. p값이 0.05보다 작으면 '우연만으로는 설명하기 어렵다'고 보고, 효과가 없다는 가설을 버린다.

그림 1에서 두 값을 바꾸어 보자. 모둠마다 10개, 평균 차 1.5 cm이면 표준 오차는 약 0.89 cm이고, 95% 신뢰 구간은 −0.25~3.25 cm로 0을 포함한다. p값은 약 0.09로 0.05보다 커서, 우연으로도 설명될 수 있다. 같은 차이가 모둠마다 20개에서 나왔다면 구간이 0.26~2.74 cm로 0을 넘지 않고 p값은 약 0.02이다. 즉 '1.5 cm 컸다'는 사실만으로는 판단할 수 없고, 흩어짐과 표본 수를 함께 보아야 한다.¹

3.1.2유의함과 중요함

p값이 작다는 것은 차이가 우연이 아닐 가능성이 크다는 뜻일 뿐, 차이가 크거나 중요하다는 뜻은 아니다. 표본이 아주 많으면 0.1 cm의 사소한 차이도 유의하게 나온다. 반대로 표본이 적으면 실제로 큰 효과도 유의하지 않게 나올 수 있다. 그래서 자료를 해석할 때는 p값과 함께 효과의 크기와 신뢰 구간을 보고한다. 신뢰 구간은 효과가 얼마나 클 수 있는지를 범위로 보여 주어, '효과가 있다, 없다'를 넘어 '얼마나 있다'를 알려 준다. 그리고 유의하지 않은 결과는 '효과가 없다'가 아니라 '이 실험으로는 가려내지 못했다'로 읽어야 한다.

3.1.3예제 풀이

평균 차는 1.5 cm, 표준 오차는 \(2.0 \times \sqrt{2/20} \approx 0.63\) cm이다. 95% 신뢰 구간은 \(1.5 \pm 1.96 \times 0.63 \approx 1.5 \pm 1.24\), 곧 0.26~2.74 cm이다. 효과 크기는 \(1.5 \div 2.0 = 0.75\)이다.

구간이 0을 포함하지 않으므로 빨간빛 모둠이 더 길다는 방향은 지지된다. 그런데 차이를 비율로 바꾸면 \(1.5 \div 10.8 \approx 14\)%이고, 신뢰 구간은 약 2~25%이다. 가설이 예측한 20~40%와 일부만 겹친다. 따라서 '더 길다'는 지지되지만 '20~40%'라는 크기는 이 자료로 확인되지 않았다. 즉 자료 해석은 가설을 맞다, 틀리다로 가르기보다 어디까지 지지되는지를 따지는 일이다. 그래서 결론에는 방향과 크기를 나누어 적는다.

아래 탐구 카드에서 두 집단의 평균 차가 우연인지 효과인지 따져 보고, 그래프에 그은 직선의 기울기가 얼마나 믿을 만한지도 확인해 보자.

1. 표본이 30개보다 적을 때는 정규 분포 대신 t 분포를 써서 신뢰 구간을 조금 넓게 잡는다. 모둠마다 10개이면 1.96 대신 약 2.10을 곱한다.