[ML 스터디 4주차] p값과 통계적 유의성의 논리 구조 - 우연인가 진짠가?

스터디 교재: "개발자를 위한 필수 수학" by 토마스 닐드
참고 본문: 116p. 3.5.3 p값 이해하기

--------------

데이터 분석이나 실험 결과를 마주할 때 반복적으로 등장하는 질문이 있다.

"이 결과는 진짜 의미가 있는가, 아니면 그저 우연인가." 이 질문에 수학적 근거를 부여하는 도구가 통계적 유의성(Statistical Significance)과 p값(p-value)이다.

1. 가설 검정의 세 가지 핵심 개념

가설 검정(Hypothesis Testing)은 새로운 주장이나 효과를 검증할 때 사용하는 통계적 절차다.

이 절차는 낙관이 아니라 철저한 의심에서 출발한다.

즉 "효과가 없다"를 기본 전제로 두고, 데이터가 이 전제를 반박할 만큼 극단적인지를 따진다.

1️⃣ 귀무가설 (Null Hypothesis, H0)

효과나 차이는 없다. 관측된 결과는 단순한 우연이다.

 

검정을 시작할 때 잠정적으로 참이라고 전제하고 출발하는 가설이다.

'귀무(歸無)'라는 이름은 '없음(無)으로 돌아간다'는 뜻이며, 영어 원어 null hypothesis의 null 역시 '없음, 0'을 가리킨다.

즉 귀무가설은 글자 그대로 "효과가 없다, 차이가 0이다"라고 주장하는 가설이다.

 

왜 하필 '없음'을 기본값으로 삼는가.

"이 약에 효과가 있다"처럼 무언가 있다는 주장은 증거로 입증해야 할 대상이지 그냥 전제로 깔 수 있는 것이 아니기 때문이다.

반대로 "효과가 없다"는 아무것도 새로 주장하지 않는 원점 상태이므로, 이 '아무 일도 없음'을 출발점으로 놓고 데이터가 이를 뒤집을 만큼 강력한지를 검토한다.

 

저울의 눈금을 0에 맞춰두고 무언가 올려 바늘이 확실히 움직여야 무게를 인정하는 것, 재판에서 유죄가 입증되기 전까지 무죄를 기본값으로 두는 것과 같은 구조다.

입증에 실패하면 결론은 다시 그 '없음' 상태로 귀결된다.

 

여기서 "관측된 결과는 우연이다"라는 문장은 "진짜 효과는 0이다"를 데이터의 관점에서 다시 말한 것이다.

효과가 없는데도 데이터에서 차이가 보였다면, 그 차이는 실제 효과가 아니라 표본 추출 과정의 우연한 변동으로밖에 설명되지 않기 때문이다.

검정의 목표는 이 가설을 지지하는 것이 아니라, 데이터로 이 가설을 반박(기각)할 수 있는지 확인하는 것이다.

2️⃣ 대립가설 (Alternative Hypothesis, H1)

"효과나 차이가 존재한다. 우연이 아니다."

실험을 통해 증명하고자 하는 실제 주장이다.

귀무가설이 기각될 때 비로소 채택된다.

3️⃣ p값 (p-value)

귀무가설이 참이라고 가정했을 때, 현재의 실험 결과 또는 그보다 더 극단적인 결과가 순전히 우연으로 발생할 확률이다.

p값이 작을수록 "우연으로 보기에는 너무 희박한 결과"라는 의미가 되며, 귀무가설을 의심할 근거가 강해진다.

이 세 개념이 어떻게 하나의 판단으로 이어지는지 흐름으로 정리하면 다음과 같다.

🔵 판단 흐름

여기서 유의할 점은, 귀무가설을 기각하지 못했다고 해서 "효과가 없음이 증명된 것"은 아니라는 것이다.

단지 "우연이 아니라고 주장할 만한 충분한 증거가 없다"는 판단일 뿐이다.

2. p값의 기원: 로널드 피셔의 홍차 감별 실험

p값 개념의 출발점은 1925년 통계학자 로널드 피셔(Ronald Fisher)의 실험이다.

추상적 정의보다 이 사례가 개념의 본질을 더 명확하게 드러낸다.

1️⃣ 상황

로널드 피셔의 동료 뮤리얼 브리스틀이 "우유를 먼저 따랐는지, 차를 먼저 따랐는지 맛만으로 구별할 수 있다"고 주장했다.

2️⃣ 실험 설계

우유를 먼저 넣은 잔 4개와 차를 먼저 넣은 잔 4개, 총 8잔을 무작위 순서로 건네고 각각을 판별하게 했다.

뮤리얼은 8잔을 모두 정확히 감별했다.

3️⃣ 확률 계산

감별 능력이 전혀 없는 사람이 순전히 우연으로 8잔을 모두 맞출 확률은 약 1.4%(p = 0.014)다.

8잔 중 4잔을 무작위로 고르는 경우의 수가 70가지이고, 그중 정답 조합은 단 1가지이므로 1/70 ≈ 0.014로 계산된다.

4️⃣ 결론

1.4%는 통계학에서 통용되는 기준선인 5%(0.05)보다 작다.

따라서 "단순한 우연이다"라는 귀무가설을 기각하고, "실제로 감별 능력이 있다"는 대립가설을 채택한다.

이 실험이 p값이라는 개념적 도구가 정식화된 계기다.

3. 현실 적용: 다이어트 신약 검증

동일한 논리가 현대 의학의 신약 개발에 그대로 적용된다.

새로운 다이어트 약이 한 달 만에 평균 5kg을 감량시키는 효과가 있는지 검증한다고 가정한다.

1️⃣ 관측

참가자들에게 약을 투여한 결과 실제로 평균 5kg이 감소했다.

2️⃣ 계산

통계학자는 "이 약이 아무 효과가 없는 가짜 약(귀무가설)이라고 가정할 때, 사람들의 체중이 우연히 평균 5kg씩 빠질 확률"을 계산한다.

3️⃣ 판단

이 확률(p값)이 0.01(1%)로 나왔다고 하자.

이는 효과 없는 약을 먹고 이 정도의 체중 감소가 나타날 가능성이 100번 중 단 1번에 불과하다는 뜻이다.

우연으로 설명하기에는 지나치게 희박하므로, 이 신약은 통계적으로 유의미한 효과가 있다고 결론 내린다.

4. 수학적 시각화: 정규분포와 꼬리 영역

p값이 도출되는 과정은 정규분포(종 모양 그래프)를 기준으로 이해하면 직관적으로 파악된다.

1️⃣ 무엇의 분포인가: 표본 평균

먼저 짚어야 할 점은, 그래프의 가로축이 개인의 체중 변화가 아니라 표본 평균(sample mean)이라는 것이다.

예를 들어 100명에게 약을 투여했다면 그 100명의 감량치를 평균 낸 값 하나가 그래프 위에 점 하나로 찍힌다.

앞서 말한 '5kg 감량'도 참가자 한 명의 결과가 아니라 집단 전체의 평균 감량이 5kg이라는 뜻이다.

이 구분이 중요한 이유가 있다.

개인 단위로 보면 가짜 약을 먹고도 우연히 5kg 빠지는 사람은 얼마든지 존재할 수 있다. 개인차가 크기 때문이다.

그러나 100명의 평균이 우연히 5kg씩 쏠리는 것은 훨씬 어렵다.

누구는 빠지고 누구는 늘어 서로 상쇄되면서 집단 평균은 0 근처로 모이려는 경향이 있기 때문이다.

따라서 종 모양 그래프는 '개인의 분포'가 아니라 '표본 평균이 이론적으로 어떻게 흩어지는지'를 나타낸 분포다.

표본 크기(n)가 클수록 이 평균 분포의 폭은 좁아지고, 같은 5kg이라도 더 극단적인 위치(더 깊은 꼬리)에 떨어져 p값은 더 작아진다.

2️⃣ 분포의 형태

가짜 약을 먹었을 때의 결과를 그래프로 그리면, 체중 변화가 거의 없는 '0kg 감량' 지점이 가장 흔하므로 그래프 정중앙에서 가장 높게 솟는다.

반면 가짜 약을 먹고도 우연히 5kg이 빠지는 경우는 발생 확률이 극히 낮으므로, 그래프 오른쪽 끝에 얇게 붙은 꼬리(Tail) 영역에 위치한다.

3️⃣ 기각역 (Rejection Region)

통상 이 꼬리 끝에서 전체 면적의 5%에 해당하는 지점에 커트라인을 긋고, 이 구간을 기각역이라 부른다.

관측 결과가 이 기각역 안에 떨어지면 귀무가설을 기각한다.

4️⃣ 결과의 해석

실제 신약 투여 결과(5kg 감량)를 이 가짜 약 분포 위에 점으로 찍었을 때, 그 점이 중앙이 아닌 꼬리 영역(기각역 내부)에 떨어졌다는 것은 다음을 의미한다.

"이 결과는 약의 효과가 전혀 없는 상태에서 우연히 발생했다고 설명하기에는 확률적으로 지나치게 희박한 위치에 있다.

따라서 우연이 아니며, 약의 실질적 효과가 입증된 것으로 판단한다."

5. 정리

p값과 통계적 유의성은 '우연'이라는 노이즈 속에서 '진짜 효과'라는 신호를 걸러내는 수학적 필터다.

실험 결과가 종 모양 분포의 꼬리 영역 깊숙이 들어갈수록 우연이 개입할 여지는 줄어들고, 그 결과가 지닌 실질적 가치에 대한 확신은 커진다.

다만 p값은 "귀무가설이 참일 때 이 데이터가 나올 확률"이지, "귀무가설이 참일 확률"이나 "효과의 크기"를 직접 알려주지 않는다는 점을 기억해야 한다.

유의수준 0.05 역시 절대적 진리가 아니라 관습적으로 합의된 기준선이다.

p값은 판단의 출발점이지 종착점이 아니며, 효과의 크기(effect size)와 신뢰구간을 함께 검토할 때 비로소 온전한 해석에 도달한다.