유효숫자
본문금속 조각의 질량을 전자저울로 재니 12.346 g이었다. 물 21.4 mL가 든 눈금 실린더에 넣었더니 물이 25.9 mL로 올라갔다. 계산기로 질량을 부피로 나누니 2.743555…가 나왔다. 저울이 다섯 자리까지 재었으니 밀도도 2.7436 g/mL라고 적고 싶어진다. 그런데 선생님은 2.7 g/mL라고 적어야 한다고 한다. 정밀한 저울로 잰 다섯 자리가 왜 두 자리로 줄어들까?
1.1.1끝자리는 어림한 자리
눈금 실린더의 최소 눈금이 1 mL이면, 액면이 21과 22 사이 어디쯤인지 눈으로 어림해 21.4 mL로 적는다. 21은 확실하고 끝의 4는 어림한 숫자이다. 이렇게 확실한 숫자에 어림한 숫자 하나를 더한 자리까지를 유효숫자라 한다. 21.4 mL는 유효숫자가 세 개이다. 뷰렛은 눈금이 0.1 mL라서 21.43 mL처럼 한 자리 더 적는다. 그래서 같은 양이라도 기구에 따라 50.0 mL와 50.00 mL로 다르게 적고, 끝의 0은 그 자리까지 읽었다는 약속이 된다.
곱하거나 나눈 결과는 유효숫자가 가장 적은 측정값과 같은 개수의 유효숫자로 적는다. 더하거나 뺀 결과는 소수점 아래 자리가 가장 적은 측정값과 같은 자리까지 적는다.
계산은 측정의 정밀도를 늘려 주지 않는다. 계산기가 내놓는 긴 숫자 가운데 뒤쪽은 측정이 보장하지 않는 숫자이다. 특히 뺄셈은 주의해야 한다. 21.4 mL와 25.9 mL는 각각 세 자리이지만, 둘을 빼면 4.5 mL로 두 자리만 남는다. 앞자리들이 서로 지워지고 어림한 끝자리의 불확실성만 그대로 남기 때문이다. 그래서 작은 차이를 큰 두 값의 뺄셈으로 구하는 측정은 정밀도를 크게 잃는다.1
1.1.2가장 약한 고리
여러 측정을 이어 계산할 때 결과의 정밀도는 가장 정밀하지 않은 측정이 정한다. 저울이 아무리 정밀해도 부피가 두 자리이면 밀도도 두 자리이다. 그래서 실험을 설계할 때는 어느 측정이 가장 약한 고리인지 먼저 찾아 그 측정을 개선한다. 부피를 뷰렛으로 재거나, 금속 조각을 더 크게 하여 늘어나는 부피를 키우면 같은 읽기로도 유효숫자가 늘어난다. 계산 도중에는 한두 자리를 더 남겨 두었다가 마지막 결과에서만 반올림해야 반올림 오차가 쌓이지 않는다.
1.1.3예제 풀이
처음 질문의 밀도를 유효숫자에 맞게 적어라. 같은 금속 조각의 부피를 뷰렛으로 재어 처음 눈금 2.13 mL, 나중 눈금 6.68 mL를 얻었다면 밀도는 몇 자리까지 적을 수 있는가? 알루미늄의 밀도 2.70 g/mL와 비교하여라.
부피는 \(25.9 - 21.4 = 4.5\) mL로 유효숫자 두 개이므로, 밀도 \(12.346 \div 4.5 = 2.74\ldots\)는 두 자리로 반올림하여 2.7 g/mL이다. 이 값만으로는 알루미늄(2.70)인지, 밀도가 2.6이나 2.8인 다른 금속인지 가리기 어렵다.
뷰렛으로 재면 부피는 \(6.68 - 2.13 = 4.55\) mL로 유효숫자가 세 개이다. 밀도는 \(12.346 \div 4.55 = 2.713\ldots\)이므로 세 자리로 2.71 g/mL이다. 알루미늄의 2.70과 끝자리 1만큼 다른데, 끝자리는 어림한 자리이므로 이 정도 차이는 측정의 범위 안이다. 즉 저울을 바꾸지 않고 가장 약한 고리였던 부피 측정만 바꾸어 결과의 유효숫자를 한 자리 늘렸다.
아래 탐구 카드에서 눈금 실린더와 뷰렛의 눈금을 읽어 보고, 측정값으로 계산한 결과를 유효숫자에 맞게 적어 보자.
- 눈금을 읽을 때는 눈높이를 액면과 같게 하고, 물처럼 오목한 액면은 가장 낮은 곳을 읽는다. 눈을 위나 아래에서 비스듬히 대면 시차 때문에 0.1 mL 넘게 틀릴 수 있다.
측정값은 확실한 숫자에 어림한 숫자 하나를 더한 유효숫자까지 적고, 기구마다 읽을 수 있는 자리가 다르다. 곱셈과 나눗셈의 결과는 가장 적은 유효숫자에, 덧셈과 뺄셈의 결과는 가장 적은 소수 자리에 맞추며, 뺄셈은 유효숫자를 크게 줄일 수 있다. 처음 질문의 밀도는 눈금 실린더로 잰 부피가 두 자리여서 2.7 g/mL로 적어야 하고, 부피를 뷰렛으로 재면 2.71 g/mL까지 적을 수 있다.