빅데이터
본문여름에 아이스크림이 많이 팔리는 날일수록 물놀이 사고도 많다. 자료 수백만 건에서 이 관계가 뚜렷하게 나타났다면, 아이스크림 판매를 줄이면 사고가 줄어들까? 자료가 아무리 많아도 놓치기 쉬운 함정은 무엇일까?
3.2.1빅데이터란
카드 결제 기록, 교통 카드 이용 기록, 검색어, 센서가 1초마다 보내는 측정값처럼, 디지털 기기가 자동으로 쌓는 자료는 양이 엄청나고 종류가 다양하며 빠르게 늘어난다. 이런 자료를 빅데이터라 한다. 빅데이터를 분석하면 사람이 미처 알아채지 못한 규칙을 찾아낼 수 있어, 교통 신호 조절, 감염병 확산 예측, 날씨 예보 등에 쓰인다.
그런데 자료가 많다는 것은 우연한 흔들림이 줄어든다는 뜻일 뿐, 결론이 옳다는 보장은 아니다. 자료를 잘못 해석하면 양이 많을수록 틀린 결론을 더 확신하게 될 수도 있다.
3.2.2상관관계와 인과관계
한 값이 커질 때 다른 값도 커지거나 작아지는 경향을 상관관계라 하고, 한 값이 원인이 되어 다른 값을 바꾸는 것을 인과관계라 한다. 아이스크림 판매와 물놀이 사고는 상관관계가 있지만, 아이스크림이 사고를 일으키는 것은 아니다. 더운 날에는 아이스크림도 많이 팔리고 물놀이하는 사람도 많기 때문이다.
두 변수 모두에 영향을 주어, 실제로는 인과관계가 없는 두 변수 사이에 상관관계가 나타나게 하는 셋째 변수를 교란 변수라 한다.
그림 1의 슬라이더로 기온의 영향을 줄여 보자. 기온이 두 값에 주는 영향을 0으로 하면 점들이 흩어져 상관관계가 사라진다. 다시 말해 처음에 보인 관계는 모두 기온이 만든 것이었다. 인과관계를 확인하려면 교란 변수를 같게 맞추고 비교하거나, 한 변수만 바꾸는 실험을 해야 한다.1
3.2.3많이 뒤지면 우연도 규칙처럼 보인다
빅데이터에는 변수가 수천 개 있을 수 있다. 서로 아무 관계가 없는 변수라도 수천 쌍을 비교하면, 우연히 강한 상관을 보이는 쌍이 몇 개는 생긴다. 이런 우연을 규칙으로 착각하지 않으려면, 찾은 규칙을 새 자료에서 다시 확인해야 한다. 또 자료에 담긴 사람의 정보는 이름을 지워도 여러 기록을 맞추면 다시 누구인지 알아낼 수 있어서 개인 정보 보호에 주의해야 한다.
3.2.4예제 풀이
서로 아무 관계가 없는 변수 쌍 하나를 검사하면 5%의 확률로 우연히 '의미 있는 관계'가 나온다고 하자. 관계가 없는 변수 쌍 200개를 검사하면 우연히 의미 있게 나오는 쌍은 평균 몇 개인가? 적어도 하나가 나올 확률은 대략 얼마인가?
쌍마다 5%이므로 200쌍에서 평균 \(200 \times 0.05 = 10\)개가 우연히 '의미 있는 관계'로 나온다. 실제 관계가 하나도 없는데도 10개의 규칙을 찾은 것처럼 보이는 것이다.
하나도 나오지 않을 확률은 쌍마다 95%이므로 \(0.95^{200}\)이다. \(0.95^{10} \approx 0.60\)이므로 \(0.95^{200} = (0.95^{10})^{20} \approx 0.60^{20} \approx 3.7 \times 10^{-5}\)이다. 따라서 적어도 하나가 나올 확률은 거의 100%이다.
그래서 자료를 많이 뒤져 찾은 관계는 처음부터 세운 가설과 다르게 다루어야 하고, 새 자료에서 다시 나타나는지 확인하기 전에는 결론으로 삼지 않는다. 아래 탐구 카드에서 교란 변수와 우연한 상관을 직접 만들어 보자.
- 대상을 무작위로 두 무리로 나누어 한쪽에만 처리를 하고 비교하는 무작위 대조 실험은, 교란 변수가 두 무리에 고르게 나뉘게 하여 인과관계를 확인하는 가장 믿을 만한 방법이다.
빅데이터는 사람이 보지 못한 규칙을 찾게 해 주지만, 자료가 많다고 결론이 옳은 것은 아니다. 두 변수의 상관관계는 교란 변수 때문일 수 있고, 많은 변수를 뒤지면 우연한 상관도 규칙처럼 보인다. 그래서 처음 질문의 아이스크림 판매를 줄여도 사고는 줄지 않으며, 둘을 함께 늘린 원인인 기온을 보아야 한다.