[ML 스터디 2주차] 제트 엔진 테스트 사례로 살펴보는 이항 분포와 통계적 의사결정

스터디 교재: "개발자를 위한 필수 수학" by 토마스 닐드
참고 본문: 70p. 2.3 이항 분포

--------------

책에서 이항 분포 설명을 위해 다음과 같은 예시를 들었다.

 

새로 개발한 제트 엔진을 10회 테스트했더니 8회 성공, 2회 실패. 눈에 보이는 성공률은 80%다.

목표치인 90%에 미치지 못한 이 결과를 두고 팀 내부에서는 "재설계가 필요하다"와 "표본이 부족하므로 추가 검증이 필요하다"는 두 입장이 대립했다.

직관이 아닌 정량적 근거로 이 논쟁을 정리하려면 이항 분포(Binomial Distribution) 개념이 필요하다.

 

1. 이항 분포의 전제 조건

1️⃣ 이항(Binomial)의 어원과 정의

이항이라는 용어는 두 개를 뜻하는 접두사 Bi-와 항을 뜻하는 -nomial의 결합이다.

통계학에서 이항 분포를 적용하려면 매 시행의 결과가 오직 두 가지 상태로만 도출되어야 한다. (성공/실패, 앞/뒤 등...)

제트 엔진 테스트는 매 시도마다 성공 또는 실패라는 명확한 두 결과만 존재하므로 이항 분포를 적용하기 적합한 조건이다.

결과가 두 가지 중 하나로만 나타나는 단일 실험이나 관측을 베르누이 실행이라고 한다.

2️⃣ 베르누이 시행의 네 가지 조건

이항 분포는 동일한 베르누이 시행을 n회 독립적으로 반복한 결과의 분포다.

다음 네 조건이 성립해야 한다.

• 결과의 이분성: 각 시행의 결과는 성공 또는 실패로만 구분된다.
• 시행의 독립성: 앞선 시행 결과가 다음 시행 결과에 영향을 주지 않는다.
• 확률의 고정성: 매 시행에서 성공 확률 p는 일정하게 유지된다.
• 시행 횟수의 사전 확정: 총 시행 횟수 n이 미리 정해져 있다.

2. 책에서 사용한 '기본 확률'이라는 용어의 의미

1️⃣ 기본 확률(Underlying Probability)  90%의 의미

통계적 검정을 위해서는 관측값과 이론값을 명확히 분리해야 한다.

• 관측 성공률(80%): 10회 테스트에서 실제로 관찰된 성공 비율. 표본에서 도출된 값이다.
• 기본 확률(Underlying Probability): 무한히 반복 시행할 때 수렴하는 본질적 성공 확률. 겉으로 드러난 80%라는 결과의 기저에 깔려 있는, 엔진 자체의 본질적인 성공률인 90%를 의미한다.

2️⃣ 기본 확률 90%는 결국 검증의 대상

엔지니어가 설정한 90%는 확정된 사실이 아니라 "이 엔진의 기본 확률이 0.9이다"라는 가설(Hypothesis)이다.

이 가설이 참일 때 관측된 8/10이라는 결과가 얼마나 자연스럽게 발생할 수 있는지를 계산하는 것이 핵심 논점이다.

즉, 검정해야 할 명제는 다음과 같이 정리된다.

p = 0.90, n = 10일 때 k = 8이 관측된 결과가 통계적 오차 범위 안에 있는가, 아니면 실제 성능 저하의 증거인가?

 

3. 계산 결과와 통계적 추론

1️⃣ p=0.9, n=10일 때의 분포 계산

이항 분포의 확률 질량 함수는 다음과 같이 정의된다.

P(X = k) = C(n, k) · p^k · (1-p)^(n-k)

여기서 n은 시행 횟수, k는 성공 횟수, p는 매 시행의 성공 확률이며, C(n, k)는 n개 중 k개를 선택하는 조합 수다.

이 공식에 p = 0.9, n = 10을 대입하여 k = 0부터 k = 10까지의 각 성공 횟수별 확률을 산출하면 다음 값을 얻는다.

성공 횟수 k	확률 P(X=k)
10	약 34.87%
9	약 38.74% (최빈값)
8	약 19.37%
7	약 5.74%
6 이하	약 1.28%

기댓값은 E(X) = np = 9로, 평균적으로 9회 성공이 예상되지만 실제 관측에서는 8회, 10회 등 다양한 값이 상당한 확률로 나타난다.

 

2️⃣ 관측된 결과의 통계적 변동성

 

기본 확률이 90%인 엔진이라 할지라도 10회 테스트에서 정확히 8회만 성공할 확률은 약 19.3%다.

8회 이하로 성공할 누적 확률(P(X ≤ 8))은 약 26.4%에 이른다.

이는 무시할 수 없는 크기의 통계적 변동성이다.

 

3️⃣ 결론

관측된 8/10이라는 결과는 기본 확률이 90%인 엔진에서도 약 19.3%의 확률로 자연스럽게 발생할 수 있는 값이며, 8회 이하 성공의 누적 확률은 26.4%에 달한다.

통상적으로 사용하는 유의수준 5%를 크게 상회하므로 "실제 성공 확률이 90%"라는 가설을 기각할 통계적 근거는 부족하다.

따라서 표본 크기가 작은 상태에서 관측된 80%라는 수치만으로 엔진의 기계적 결함을 단정하고 재설계에 착수하는 것은 통계적 오차를 성능 저하로 오인하는 성급한 판단이다.

표본 크기를 확대하여 신뢰 구간을 좁힌 후 재검정하는 접근이 정량적 근거에 부합한다.

이항 분포는 이처럼 표본 관측값과 이론적 확률 사이의 자연스러운 변동성을 정량화하여, 통계적 오차와 실제 성능 저하를 구분하는 근거를 제공한다.

따라서 표본이 작을수록 관측값의 변동 폭이 커진다는 사실을 인지하지 못하면 불필요한 재설계 비용이 발생할 수 있는 것이다.