추세선
본문공부 시간과 시험 점수, 광고비와 매출처럼 두 양의 자료를 좌표평면에 찍으면 점들이 대체로 한 방향으로 늘어서지만, 한 직선 위에 정확히 놓이지는 않는다. 점들 사이로 직선을 하나 긋는다면 사람마다 조금씩 다르게 그을 것이다. '가장 잘 나타내는' 직선을 하나로 정하는 기준은 무엇일까?
4.2.1오차와 최소제곱법
직선 \(y = ax + b\)로 자료를 나타낼 때, 점 \((x_i, y_i)\)에서 실제 값과 직선의 값의 차이 \(e_i = y_i - (ax_i + b)\)를 오차(잔차)라 한다. 오차는 양수도 음수도 있어 그냥 더하면 서로 지워진다. 그래서 오차를 제곱해 더한 값이 가장 작은 직선을 고른다. 이 방법을 최소제곱법이라 하고, 얻은 직선을 추세선 또는 회귀직선이라 한다.
\(\displaystyle S(a, b) = \sum_{i=1}^{n} \{y_i - (ax_i + b)\}^2\)을 가장 작게 하는 직선은 점들의 평균점 \((\bar x, \bar y)\)를 지나고, 기울기는 \[a = \frac{\sum (x_i - \bar x)(y_i - \bar y)}{\sum (x_i - \bar x)^2}\] 이다.
그림 1의 직선은 평균점 \((3.5, 4.5)\)를 지나도록 해 두었으므로, 기울기만 바꾸면 된다. 기울기를 0.6에서 늘려 가면 빨간 오차들이 줄어들다가 약 0.98을 지나며 다시 커진다. 오차 제곱합은 기울기 \(a\)의 이차함수이므로, 그래프는 아래로 볼록한 포물선이고 꼭짓점에서 최소가 된다.1
4.2.2추세선으로 예측할 때 주의할 점
추세선은 자료가 있는 범위 안에서 값을 어림하는 데 쓸모가 있다. 그러나 자료 범위 밖으로 멀리 늘여 예측하는 것은 위험하다. 처음 몇 해 동안 빠르게 늘던 판매량이 시장이 포화되면 멈추는 것처럼, 관계가 범위 밖에서도 직선이라는 보장은 없다.
4.2.3예제 풀이
세 점 \((1, 2)\), \(( 2, 3)\), \((3, 7)\)에 대하여 최소제곱법으로 추세선을 구하여라.
평균은 \(\bar x = 2\), \(\bar y = 4\)이다. \(\sum(x_i - \bar x)(y_i - \bar y) = (-1)(-2) + 0 \cdot (-1) + 1 \cdot 3 = 5\), \(\sum(x_i - \bar x)^2 = 1 + 0 + 1 = 2\)이므로 기울기는 \(a = \dfrac{5}{2} = 2.5\)이다.
직선이 \((2, 4)\)를 지나므로 \(4 = 2.5 \times 2 + b\)에서 \(b = -1\)이다. 추세선은 \(y = 2.5x - 1\)이다. 오차는 차례로 \(2 - 1.5 = 0.5\), \(3 - 4 = -1\), \(7 - 6.5 = 0.5\)이고 그 합은 0이다. 평균점을 지나는 추세선에서는 오차의 합이 늘 0이 된다.
아래 탐구 카드에서 흩어진 점들을 가장 잘 나타내는 직선을 찾고, 추세선으로 먼 미래를 예측할 때의 함정을 확인해 보자.
- 오차를 제곱하는 까닭은 부호를 없애고, 미분하기 쉬운 매끈한 함수를 얻기 위해서이다. 그 대가로 큰 오차가 제곱으로 크게 부풀려져 이상치에 민감해진다. 이 점은 다음 절에서 다룬다.
추세선은 오차 제곱합이 가장 작은 직선으로 정하며, 이 직선은 평균점을 지나고 기울기는 \(\frac{\sum(x_i - \bar x)(y_i - \bar y)}{\sum(x_i - \bar x)^2}\)이다. 오차 제곱합은 기울기의 이차함수라 꼭짓점에서 최소가 된다. 그래서 처음 질문의 '가장 잘 나타내는 직선'은 오차 제곱합이라는 하나의 기준으로 정할 수 있으며, 자료 범위 밖의 예측에는 조심해야 한다.