연구 주제 선정

한 학생이 '음악을 들려주면 콩나물이 더 잘 자랄까?'를 연구 주제로 골랐다. 재미있고, 실험실에서 할 수 있고, 비용도 적게 든다. 그런데 선생님은 "효과가 있더라도 아주 작을 텐데, 그걸 가려내려면 콩나물을 몇 개나 길러야 할지 먼저 계산해 보라"고 했다. 연구 주제를 고를 때 흥미와 장비 말고 무엇을 따져야 할까? 효과의 크기는 필요한 실험의 양을 어떻게 바꿀까?

예상하는 효과 크기 d

1.4.1관심사에서 연구 주제로

'기후 변화'나 '식물의 생장'은 좋은 관심사이지만 아직 연구 주제는 아니다. 연구 주제는 무엇을 바꾸고 무엇을 잴지가 정해진, 답할 수 있는 질문이어야 한다. 그래서 후보 주제를 몇 가지 기준으로 견준다. 내가 끝까지 궁금해할 만큼 흥미가 있는가, 이미 답이 알려져 있지는 않은가, 학교의 장비와 재료로 잴 수 있는가, 주어진 시간 안에 끝낼 수 있는가, 안전과 윤리에 문제가 없는가. 이 가운데 자주 빠뜨리는 것이, 기대하는 효과를 가려낼 만큼 실험을 많이 할 수 있느냐이다.

그림 1에서 효과 크기를 바꾸어 보자. 효과 크기가 1이면, 곧 평균 차가 표준 편차만큼 크면 모둠마다 16개면 된다. 0.5이면 64개, 0.3이면 178개, 0.2이면 400개가 필요하다. 음악이 콩나물 생장에 주는 효과가 있더라도 효과 크기 0.2 남짓이라면, 콩나물 800개를 같은 조건에서 길러 하나하나 재야 한다. 이것이 1년 동안 가능한지 따져 보는 것이 주제 선정의 일이다.¹

1.4.2주제를 좁히고 다듬기

표본이 너무 많이 필요하면 주제를 버리기보다 다듬는다. 효과가 더 크게 나타날 조건을 찾거나, 흩어짐을 줄이는 방법을 쓴다. 같은 날 싹 튼 콩만 고르고 온도와 물을 엄격히 맞추면 표준 편차가 줄어 효과 크기가 커진다. 그리고 막연한 '음악' 대신 '특정 진동수의 소리'처럼 원인을 좁히면 해석도 쉬워진다. 선행 연구를 찾아 비슷한 실험에서 효과와 흩어짐이 어느 정도였는지 알아 두면 필요한 표본 수를 미리 어림할 수 있다. 이렇게 하고 싶은 주제와 할 수 있는 주제의 접점을 찾는다.

1.4.3예제 풀이

효과 크기는 \(d = 0.6 \div 2 = 0.3\)이므로 \(n \approx 16 \div 0.09 \approx 178\)개, 두 모둠 합쳐 약 356개가 필요하다.

표준 편차를 1 cm로 줄이면 \(d = 0.6\)이 되어 \(n \approx 16 \div 0.36 \approx 45\)개로, 4분의 1로 준다. 같은 효과라도 흩어짐을 줄이면 훨씬 적은 실험으로 가려낼 수 있다. 즉 실험의 정밀도를 높이는 일이 주제를 실현 가능하게 만든다. 그래서 주제를 정할 때는 기대하는 효과와 흩어짐을 먼저 어림해, 필요한 표본 수가 시간과 공간 안에 들어오는지 확인한다.

아래 탐구 카드에서 후보 주제들을 여러 기준으로 견주고, 하고 싶은 주제와 할 수 있는 주제를 맞추어 보자.

1. 검정력은 실제로 효과가 있을 때 그것을 가려낼 확률이다. 표본이 모자라 검정력이 낮으면, 효과가 있는데도 '차이가 없다'는 결론을 내리기 쉽다.