연구 윤리

어떤 학생이 '초콜릿을 먹으면 시험 점수가 오른다'는 가설로 실험했다. 전체로는 차이가 없었다. 그래서 남학생만, 여학생만, 아침 시험만, 오후 시험만, 수학만, 국어만 나누어 다시 분석했다. 스무 번째쯤 분석에서 '오후의 수학 시험에서 초콜릿을 먹은 여학생의 점수가 유의하게 높다'는 결과가 나왔다. 학생은 그 결과만 보고서에 썼다. 자료를 조작하지 않았는데도 이것이 왜 문제일까?

1.3.1우연히 나오는 유의한 결과

통계 검정에서 '유의 수준 5%'는, 실제로 효과가 없을 때 우연만으로 그만한 차이가 나올 확률이 5%보다 작으면 효과가 있다고 판단하겠다는 약속이다. 그러니 효과가 없어도 스무 번에 한 번꼴로는 '유의한' 결과가 나온다. 분석을 한 번만 하면 이런 잘못된 결론의 위험은 5%이다. 그런데 결과를 본 뒤 분석 방법을 이리저리 바꾸어 여러 번 시도하면, 그중 하나가 우연히 유의하게 나올 확률이 빠르게 커진다. 이렇게 원하는 결과가 나올 때까지 분석을 바꾸는 것을 p-해킹이라 한다.

그림 1에서 시도 횟수를 바꾸어 보자. 분석을 한 번만 하면 5%이지만, 5번 하면 23%, 20번 하면 64%이다. 처음 질문의 학생처럼 스무 가지로 나누어 보면, 초콜릿에 아무 효과가 없어도 '유의한' 조합 하나쯤은 찾아내기 쉽다. 그 결과만 보고하면 읽는 사람은 그 결과가 우연일 가능성을 알 수 없다. 자료를 하나도 바꾸지 않았지만, 연구 과정을 숨겨 결론을 왜곡한 셈이다.¹

1.3.2연구 윤리와 사회

연구 부정에는 없는 자료를 만드는 위조, 자료를 원하는 대로 바꾸는 변조, 남의 글과 생각을 출처 없이 가져오는 표절이 있다. 여기에 더해 결과에 불리한 자료를 빼거나, 분석을 몰래 바꾸거나, 실패한 실험을 숨기는 것도 연구를 왜곡하는 부적절한 행위이다. 연구 결과는 다른 연구의 바탕이 되고, 약과 정책의 근거가 된다. 1998년 백신과 자폐증을 잇는 조작된 논문은 철회되었지만, 그사이 예방 접종률이 떨어져 홍역이 다시 퍼졌다. 그래서 연구자는 분석 계획을 미리 정하고, 시도한 분석을 모두 밝히며, 원자료를 남겨 다른 사람이 확인할 수 있게 한다.

1.3.3예제 풀이

적어도 하나가 유의할 확률은 \(1 - 0.95^{20} \approx 1 - 0.358 = 0.64\), 곧 약 64%이다. 평균적으로 유의한 분석은 \(20 \times 0.05 = 1\)개이다.

전체 위험을 5%로 지키려면 각 분석의 유의 수준을 \(0.05 \div 20 = 0.0025\)로 낮추면 된다. 그러면 \(1 - (1 - 0.0025)^{20} \approx 0.049\)로 약 5%가 된다. 이렇게 시험한 횟수로 유의 수준을 나누는 방법을 본페로니 보정이라 한다. 즉 여러 번 시험하는 것 자체가 잘못은 아니고, 그 횟수를 밝히고 판단 기준을 그만큼 엄격하게 하면 된다. 그래서 정직한 보고서는 유의한 결과와 함께 시도한 분석을 모두 적는다.

아래 탐구 카드에서 연구 부정의 사례를 살펴보고, 분석을 바꾸어 가며 유의한 결과를 찾는 것이 왜 문제인지 시뮬레이션으로 확인해 보자.

1. 2015년 심리학 연구 100편을 다시 해 본 대규모 재현 연구에서, 원래 유의했던 결과의 약 3분의 1만 다시 유의하게 나왔다. 이 일로 연구 계획을 미리 등록하는 제도가 널리 퍼졌다.