결론 도출과 평가

1986년 영국의 한 병원이 신장 결석 치료법 두 가지의 성공률을 비교했다. 환자 350명씩을 맡은 결과, 전체 성공률은 치료 A가 78%, 치료 B가 83%였다. 그러면 B가 더 나은 치료일까? 그런데 결석이 작은 환자만 보면 A가 더 잘 고쳤고, 결석이 큰 환자만 보아도 A가 더 잘 고쳤다. 어느 집단에서나 이기는 치료가 전체로는 지는 일이 어떻게 가능할까? 그리고 자료에서 결론을 끌어낼 때 무엇을 살펴야 할까?

강조할 집단

2.6.1섞인 비율이 만든 역설

두 집단을 합친 성공률은 각 집단의 성공률을 그 집단의 환자 수로 가중 평균한 값이다. 그런데 치료 A는 성공하기 어려운 큰 결석 환자를 263명이나 맡았고, 치료 B는 성공하기 쉬운 작은 결석 환자를 270명 맡았다. 그래서 A의 전체 성공률은 낮은 쪽인 큰 결석의 성공률에 끌려 내려가고, B의 전체 성공률은 높은 쪽인 작은 결석의 성공률에 끌려 올라간다. 이렇게 집단별 비교와 전체 비교가 거꾸로 나오는 현상을 심슨의 역설이라 한다.

그림 1에서 집단을 바꾸어 보자. 작은 결석에서 A는 87명 중 81명(93%), B는 270명 중 234명(87%)을 고쳤다. 큰 결석에서 A는 263명 중 192명(73%), B는 80명 중 55명(69%)을 고쳤다. 그런데 합치면 A는 273명(78%), B는 289명(83%)이다. 의사들이 더 어려운 환자에게 더 확실한 치료인 A를 골라 주었기 때문에 생긴 일이다.¹

2.6.2결론을 평가하는 물음

자료에서 결론을 끌어낼 때는 비교한 두 집단이 결과에 영향을 줄 다른 조건에서 같았는지를 먼저 묻는다. 실험이라면 무작위로 집단을 나누어 이런 차이를 막을 수 있다. 하지만 이미 모인 자료를 분석할 때는 나이, 성별, 병의 심한 정도처럼 결과에 영향을 줄 만한 변인을 찾아 나누어 보아야 한다. 그리고 결론이 자료의 범위를 넘어서지 않는지, 다른 설명이 가능하지 않은지도 따진다. 즉 좋은 결론은 자료와 맞을 뿐 아니라 다른 해석을 하나씩 지워 나간 결론이다.

2.6.3예제 풀이

1학년은 가 학교 80%, 나 학교 75%이고, 3학년은 가 학교 50%, 나 학교 45%이다. 두 학년 모두 가 학교가 5%p 높다.

그런데 전체로는 가 학교가 \(230 \div 400 = 57.5\)%, 나 학교가 \(270 \div 400 = 67.5\)%로 나 학교가 10%p 높다. 3학년 시험이 더 어려운데, 가 학교는 3학년 응시자가 많고 나 학교는 1학년 응시자가 많기 때문이다. 따라서 학년이라는 교란 변인을 나누어 보면 가 학교의 성적이 낫다. 전체 합격률만 보고 나 학교를 칭찬했다면 잘못된 결론을 내렸을 것이다.

아래 탐구 카드에서 심슨의 역설이 나타나는 자료를 직접 나누어 보고, 결론을 내리기 전에 확인할 것을 정리해 보자.

1. 1973년 미국 버클리 대학교의 대학원 입학 자료에서는 전체로 남성의 합격률이 여성보다 높았다. 그런데 학과별로 나누어 보니 대부분의 학과에서 여성의 합격률이 비슷하거나 더 높았다. 여성이 경쟁률이 높은 학과에 더 많이 지원했기 때문이다.