[ML 스터디 3주차] 표본 분산은 왜 n이 아니라 n-1로 나누는가?

스터디 교재: "개발자를 위한 필수 수학" by 토마스 닐드
참고 본문: 97p. 3.4.4 분산과 표준편차

--------------

1. 모집단과 표본

모집단(population)은 분석 대상이 되는 전체 데이터를 뜻한다.

예를 들어 대한민국 전체 인구가 모집단이다.

표본(sample)은 그중 일부만 뽑아낸 데이터다. 조사를 위해 100명을 뽑았으면, 그 뽑은 100명이 표본이다.

전체 데이터를 모두 조사하는 것은 대부분 불가능하므로, 일부를 뽑아 전체를 추정하는 것이 통계의 기본 방식이다.

문제는 표본만으로 계산한 분산이 모집단의 실제 분산과 일정한 방향으로 어긋난다는 데 있다.

그리고 그 어긋남의 방향은 항상 '실제보다 작게'로 정해져 있다.

2. 표본 평균 기준의 편차는 작게 계산된다

표본으로 분산을 구할 때, 편차를 계산하는 기준은 모집단 전체의 평균이 아니라 표본 자체의 평균(표본 평균)이다.

모집단 평균은 알 수 없으므로 표본에서 구한 평균을 대신 사용할 수밖에 없다.

그런데 표본 평균은 그 표본 데이터들로부터 계산된 값이므로, 정의상 표본 데이터들과의 거리의 제곱합이 최소가 되는 지점에 위치한다.

즉 표본 데이터는 모집단 평균보다 표본 평균에 더 가깝게 모여 있다.

그 결과 표본 평균을 기준으로 편차를 계산하면, 모집단 평균을 기준으로 했을 때보다 편차가 작게 나온다.

이 상태에서 개수 n으로 나누면 분산이 모집단의 실제 분산보다 작게 계산된다.

이렇게 실제보다 작게 추정되는 현상을 과소평가(underestimation)라고 한다.

아래 도식은 표본 평균이 표본 데이터에 더 가깝게 위치해 편차가 작게 측정되는 상황을 보여준다.

3. 분모를 n-1로 조정해 보정한다

1️⃣ 분모를 줄이면 결과가 커진다

이 과소평가를 보정하기 위해 나누는 수를 n에서 n-1로 줄인다.

분모가 작아지면 나눗셈의 결과는 커지므로, 작게 계산되던 분산이 그만큼 커진다.

이 조정을 통해 과소평가된 분산 값이 모집단의 실제 분산에 더 가까워진다.

이렇게 n-1로 나눈 표본 분산은 표본만으로 계산했음에도 모집단의 실제 분산에 근접한 값을 추정한다.

2️⃣ n-1의 통계적 근거: 자유도

n-1이라는 값에는 자유도(degrees of freedom)라는 통계적 근거가 있다.

자유도는 자유롭게 변할 수 있는 값의 개수를 뜻한다.

표본 분산을 계산할 때는 표본 평균을 먼저 구해 편차의 기준으로 사용한다.

그런데 표본 평균이 특정 값으로 정해지고 나면, n개의 데이터가 모두 자유롭게 값을 가질 수는 없다.

n개 중 n-1개의 값이 정해지면, 표본 평균을 그 값으로 만들기 위한 마지막 한 개의 값은 자동으로 결정되기 때문이다.

예를 들어 데이터가 3개이고 표본 평균이 10으로 고정되어 있다면, 앞의 두 값이 8과 12로 정해지는 순간 세 번째 값은 평균을 10으로 맞추기 위해 반드시 10이어야 한다.

자유롭게 선택할 수 있었던 값은 3개가 아니라 2개, 즉 n-1개다.

이렇게 표본 평균이라는 하나의 값을 데이터로부터 계산해 사용했기 때문에 자유도가 하나 줄어들며, 이 줄어든 자유도 n-1이 분모가 된다.