[ML 스터디 4주차] 중심 극한 정리와 신뢰 구간 - 표본으로 모집단을 추론

스터디 교재: "개발자를 위한 필수 수학" by 토마스 닐드
참고 본문: 112p. 3.5.2 신뢰 구간

--------------

모집단 전체를 조사하는 일은 대부분의 현실 상황에서 불가능하다.

전국의 성인 몸무게, 특정 품종 개의 평균 체중, 서버가 처리하는 응답 시간 전체를 빠짐없이 측정할 방법은 없다.

그럼에도 통계학은 일부 표본만으로 모집단의 특성을 추론할 수 있는 근거를 제공한다.

그 근거의 핵심에 중심 극한 정리가 있으며, 이 정리 위에서 신뢰 구간이라는 추론 도구가 작동한다.

1. 중심 극한 정리: 모집단을 추론하는 이론적 근거

1️⃣ 표본으로 전체를 추론한다는 문제

세상의 모든 데이터를 측정하는 것은 불가능하다.

대한민국 성인 남성 전체의 키, 존재하는 모든 골든 리트리버의 몸무게 같은 모집단 파라미터를 일일이 측정할 수 없기 때문에, 전체 중 일부인 표본(Sample)을 뽑아 전체를 추론한다.

이 추론을 가능하게 만드는 것이 중심 극한 정리(Central Limit Theorem, CLT)다.

 

2️⃣ 표본 평균의 분포는 정규 분포를 따른다

중심 극한 정리의 핵심 주장은 다음과 같다.

모집단의 원래 분포 형태가 어떻든 간에, 표본의 크기(n)가 충분히 크면 그 표본들의 평균이 이루는 분포는 근사적으로 정규 분포를 따른다.

이 "충분히 큰" 기준을 통상 n ≥ 31로 잡는다.

원본 모집단이 한쪽으로 치우친 분포이거나 균등 분포이더라도, 거기서 반복 추출한 표본 평균들을 모아 놓으면 종 모양의 정규 분포에 수렴한다.

 

3️⃣ 표본 평균들의 평균은 모집단 평균과 일치한다

중심 극한 정리의 두 번째 결과는 위치에 관한 것이다.

크기 n의 표본을 무수히 반복 추출해 각각의 평균을 구한 뒤, 이 표본 평균들을 다시 전부 평균 내면 그 값은 진짜 모집단 평균과 수학적으로 일치한다.

결국 중심 극한 정리는 단 하나의 충분히 큰 표본(n ≥ 31)만 확보해도 정규 분포의 성질을 빌려와 모집단 전체를 추론할 수 있는 이론적 배경을 제공한다.

신뢰 구간은 바로 이 성질 위에서 성립한다.

 

여기서 표본 평균들의 평균을 낸다는 말은, 예를 들어서 모집단이 1000명이라고 가정하면 1000명 중에서 표본 31명을 뽑을 수 있는 모든 가능한 조합에서의 평균값들을 다시 평균낸 것을 의미한다.

• 1번부터 31번까지 뽑아 평균을 낸다(첫 번째 표본).
• 이번에는 1번 대신 32번을 넣어 31명을 만들고 평균을 낸다(두 번째 표본).
• 이런 방식으로 조합을 바꿔가며 계속 뽑는다. 1,000명 중 31명을 뽑는 조합의 수는 수학적으로 계산하면 천문학적인 숫자(₁₀₀₀C₃₁)가 된다.

중심 극한 정리의 이론적 결론은 이 셀 수 없이 많은 모든 조합에 대해 표본 평균을 전부 구한 뒤 그것을 다시 평균 내면, 원래 모집단 1,000명의 진짜 평균과 수학적으로 정확히 일치한다는 것이다.

 

💡 정리하면

현실에서는 모든 조합을 조사할 수 없다.

따라서 무작위로 31명씩 표본을 뽑는 행위를 여러 번 반복하게 되는데, 표본을 뽑아 평균을 내는 횟수가 많아질수록 그 표본 평균들의 평균이 진짜 모집단 평균으로 수렴한다.

모집단 전체를 볼 수 없어도 표본을 반복하는 것만으로 모집단의 중심에 접근할 수 있다는 것이 이 정리가 제공하는 근거다.

2. 신뢰 구간의 정의와 계산

1️⃣ 신뢰 구간이란 무엇인가

신뢰 구간(Confidence Interval, CI)은 하나의 표본을 바탕으로 모집단의 통계적 파라미터(평균, 비율, 분산 등)가 존재할 범위를 추정하는 방법이다.

점 하나로 "모집단 평균은 64.4다"라고 단정하는 대신, "모집단 평균은 63.7에서 65.1 사이에 있을 것이다"라고 범위로 제시한다.

2️⃣ 골든 리트리버 표본으로 신뢰 구간 계산하기

골든 리트리버 31마리 표본으로 모집단 평균 몸무게의 95% 신뢰 구간을 구하는 과정은 다음 순서를 따른다.

🔵 표본 데이터 확인

표본 크기 n = 31, 표본 평균 x̄ = 64.408, 표본 표준 편차 s = 2.05이다.

표본 표준 편차는 표본 내 데이터의 흩어진 정도를 나타낸다.

🔵 신뢰 수준(LOC) 설정

모집단 평균이 구간 안에 포함된다고 어느 정도 확신할지 결정한다.

여기서는 95%로 설정한다.

🔵 임계 z 값 도출

표준 정규 분포의 중앙에서 95% 면적을 감싸려면, 양쪽 꼬리의 2.5%(0.025)씩을 잘라낸 대칭 범위가 필요하다.

이때의 임계 z 값은 ±1.95996이다.

🔵 허용 오차(E) 계산

z 값, 표본 표준 편차, 표본 크기를 조합해 오차 범위를 구한다.

E = z × (s / √n)
E = 1.95996 × (2.05 / √31)
E = 1.95996 × (2.05 / 5.5678)
E ≈ 0.72164

🔵 최종 구간 도출

표본 평균에 허용 오차를 더하고 빼면 신뢰 구간이 완성된다.

하한 = 64.408 - 0.72164 = 63.686
상한 = 64.408 + 0.72164 = 65.130

95% 신뢰 구간 = [63.686 ~ 65.130]

아래 도식은 표준 정규 분포 위에서 임계 z 값, 양쪽 꼬리, 허용 오차가 어떻게 신뢰 구간으로 이어지는지 나타낸다.

 

3. "95% 신뢰"의 정확한 의미

앞에서 구한 [63.686 ~ 65.130]이라는 구간을 보고, "세상 모든 리트리버의 진짜 평균 몸무게가 이 범위 안에 있을 확률이 95%다"라고 해석하는 것은 틀린 해석이다.

 

진짜 모집단 평균은 이미 고정된 하나의 값이다.

따라서 그 값은 특정 구간 안에 이미 들어와 있거나(확률 100%) 들어와 있지 않거나(확률 0%) 둘 중 하나일 뿐, "95%의 확률로 들어있다"는 표현 자체가 성립하지 않는다.

통계학에서 말하는 95% 신뢰란 확률의 대상이 진짜 평균이 아니라 방법론의 정확도라는 뜻이다.

리트리버 31마리를 뽑아 오차 범위를 계산해 구간을 만드는 작업을 100번 반복해 각기 다른 100개의 구간을 만든다면, 그중 약 95개의 구간 안에는 진짜 모집단 평균이 포함된다.

즉 95% 신뢰 수준은 특정 숫자에 대한 확률이 아니라, 이 방법으로 구간을 만들면 100번 중 95번은 진짜 평균을 담아낸다는 방법 자체의 신뢰성을 의미한다.

4. 신뢰 수준과 구간 너비의 관계

1️⃣ 확신을 높이면 구간은 넓어진다

95%가 아니라 99%로 더 강하게 확신하려면 어떻게 해야 할까?.

답은 신뢰 구간이 더 넓어지는 것이다.

100번 중 95번 진짜 평균을 담는 구간보다 100번 중 99번 담는 구간이 더 넓어야 하는 것은 당연한 결과다.

수학적으로도 중앙의 99% 면적을 감싸려면 임계 z 값이 1.95996에서 약 2.576으로 커진다.

허용 오차 공식 E = z × (s / √n)에서 곱해지는 z 값이 커지면 E도 커지므로, 신뢰 구간은 양옆으로 넓어진다.

2️⃣ 구간을 좁히려면 표본을 늘린다

반대로 오차를 줄여 구간을 좁히고 싶다면 공식의 분모에 있는 표본 크기 n을 늘리면 된다.

n이 커질수록 √n이 커지고, E는 작아진다.

더 많은 데이터를 수집할수록 좁은 범위 안에서도 강한 확신을 유지할 수 있다.

정리하면 신뢰 수준과 표본 크기는 구간 너비를 조절하는 두 개의 변수다.

신뢰 수준을 높이면 구간이 넓어지고, 표본 크기를 늘리면 구간이 좁아진다.

5. 요약

중심 극한 정리는 원본 분포 형태와 무관하게, 크기 n ≥ 31인 표본의 평균이 근사 정규 분포를 따르고 그 평균이 모집단 평균과 일치한다는 정리다.

이 성질 덕분에 단 하나의 충분히 큰 표본만으로 모집단을 추론할 수 있다.

신뢰 구간은 이 성질을 이용해 모집단 파라미터가 존재할 범위를 E = z × (s / √n)로 계산한 결과물이다.

신뢰 수준(예: 95%)은 특정 숫자가 구간에 포함될 확률이 아니라, 같은 방법으로 구간을 반복 생성했을 때 100번 중 95번은 진짜 값을 담아내는 방법의 신뢰성을 뜻한다.

신뢰 수준을 높이면 구간은 넓어지고, 표본 크기를 늘리면 구간은 좁아진다.