협력적 탐구와 증거에 근거한 해석
본문어느 연구팀이 '이 음식을 먹으면 기억력이 좋아진다'는 결과를 발표했다. 통계적으로도 의미 있다고 한다. 그런데 다른 연구팀이 같은 실험을 해 보니 효과가 없었다. 어느 쪽을 믿어야 할까? 효과가 전혀 없어도 우연히 '의미 있는' 결과가 나올 수 있을까? 과학자들은 서로의 결과를 어떻게 확인하고, 증거를 어떻게 해석할까?
2.4.1우연히 나온 결과
과학에서 '통계적으로 의미 있다'는 말은 보통, 효과가 없을 때 그만한 차이가 우연히 나올 확률이 5%보다 작다는 뜻이다. 그런데 5%는 0이 아니다. 효과가 없는 실험을 20번 하면 평균 한 번은 우연히 의미 있는 결과가 나온다. 여러 음식, 여러 시험, 여러 집단을 한꺼번에 조사하고 그 가운데 의미 있게 나온 것만 발표하면, 우연이 발견처럼 보이게 된다.
효과가 없을 때 한 실험이 우연히 의미 있게 나올 확률을 \(\alpha\)(보통 0.05)라 하면, 서로 독립인 실험 \(k\)번이 모두 의미 있게 나올 확률은 \(\alpha^k\)이다. 그래서 다른 연구자가 독립적으로 결과를 재현하면 우연일 가능성이 크게 줄어든다.
그림 1에서 검사 횟수를 20으로 두어 보자. 하나 이상 우연히 걸릴 확률이 64%이다. 그런데 그 결과를 다른 팀이 독립적으로 한 번 더 재현하면 우연일 확률이 0.25%, 두 번 더 재현하면 0.0125%로 떨어진다.1
2.4.2협력적 탐구
그래서 과학은 혼자 하는 일이 아니다. 연구 결과는 동료 과학자의 심사를 거쳐 발표되고, 실험 방법과 자료를 공개하여 다른 사람이 같은 실험을 해 볼 수 있게 한다. 여러 연구 결과를 모아 함께 분석하기도 한다. 뜻밖의 주장일수록 더 강한 증거가 필요하며, 한 번의 결과보다 여러 번의 독립적인 재현이 더 큰 신뢰를 준다.
2.4.3예제 풀이
한 연구팀이 젤리 사탕 20가지 색깔마다 여드름과의 관계를 조사했는데, 초록색만 '의미 있게' 나왔다. 어떤 색깔도 실제로 효과가 없다면, 20가지 가운데 적어도 하나가 우연히 의미 있게 나올 확률은 얼마인가? 초록색 결과를 다른 팀이 독립적으로 다시 확인했을 때 또 의미 있게 나올 확률은?
한 색깔이 우연히 의미 있게 나오지 않을 확률은 0.95이고, 20가지 모두 그렇지 않을 확률은 \(0.95^{20} \approx 0.36\)이다. 그래서 적어도 하나가 우연히 걸릴 확률은 \(1 - 0.36 = 0.64\), 곧 64%이다.
초록색이 실제로 효과가 없다면, 독립적인 재현에서 다시 의미 있게 나올 확률은 5%이다. 즉 첫 결과만 보면 '초록 젤리가 여드름을 만든다'고 믿기 쉽지만, 64%의 확률로 그런 결과가 하나쯤 나온다는 것을 알면 판단이 달라진다. 그래서 과학자는 몇 가지를 검사했는지까지 밝히고, 재현으로 결과를 확인한다.
아래 탐구 카드에서 뜻밖의 실험 결과를 바로 믿어도 되는지, 생활 습관과 병의 관계를 어떻게 알아내는지 살펴보자.
- 2015년 심리학 연구 100편을 다시 실험한 대규모 재현 연구에서는 원래 결과의 약 3분의 1만 같은 결론을 얻었다. 이를 계기로 여러 분야에서 실험 계획을 미리 등록하고 자료를 공개하는 관행이 퍼졌다.
효과가 없어도 한 번의 실험은 5% 정도의 확률로 우연히 의미 있게 나올 수 있고, 여러 가지를 검사하면 그 확률이 크게 늘어난다. 독립적인 재현을 거치면 우연일 가능성이 \(0.05^k\)로 줄어든다. 그래서 처음 질문의 답은 '아니다'이다. 뜻밖의 결과일수록 방법을 공개하고 다른 연구자가 재현하여 확인한 뒤에 믿어야 한다.