[ML 스터디 2주차] 확률과 가능도, 그리고 베이즈 정리

스터디 교재: "개발자를 위한 필수 수학" by 토마스 닐드
참고 본문: 65p. 2.2.3 베이즈 정리

--------------

 

확률(Probability)과 가능도(Likelihood)는 얼핏 비슷해 보이는데 사실은 바라보는 방향이 서로 반대인 개념이다.

확률은 원인에서 결과를 향하고, 가능도는 결과에서 원인을 향한다.

확률과 가능도를 결합하면 이미 알고 있던 지식에 새로 관측한 증거를 곱해 결론을 갱신하는 베이즈 정리(Bayes' Theorem)가 나오는데, 이것은 단편적인 통계에 속지 않고 합리적인 판단을 하게 도와주는 근거가 된다. 

1. 확률: 정해진 조건에서 결과를 예측

1️⃣ P(결과 | 조건)

확률은 이미 정해진 환경이 있는 상태에서 앞으로 어떤 일이 벌어질지를 예측하는 개념이다.

즉, 설정은 고정되어 있고, 앞으로 관찰하게 될 데이터가 변수 자리에 놓인다.

그래서 이런 방향으로 질문을 하게 된다.

"조건이 이러할 때, 이런 결과가 나올 확률은 얼마인가?"

기호로 쓰면 P(결과 | 조건)이다.

오른쪽이 이미 알고 있는 조건이고, 왼쪽이 계산 대상인 결과다.

 

📌결과를 만들어내는 쪽을 흔히 '원인'이라고 하지만, 어떤 사건을 일으켰다고 말하기 어려운 설정도 같은 자리에 들어간다. 통계에서는 이 자리를 조건 또는 모수라고 부르며, 이 글에서도 조건으로 통일한다. 실제 인과관계가 성립하는 상황에 한해서만 원인이라는 표현을 쓴다.

2️⃣ 빨간 공, 파란 공

빨간 공 5개와 파란 공 5개를 속이 보이지 않는 상자에 넣는다.

여기서 공을 하나 꺼내 색을 확인하고 다시 넣은 뒤 잘 섞는 과정을 3번 반복한다.

• 규칙(원인): 빨간 공이 나올 확률이 0.5로 고정되어 있다.
• 예측(결과): 3번 모두 빨간 공이 나올 확률은 얼마인가.

각 뽑기가 서로 영향을 주지 않으므로 확률은 곱으로 계산된다.

P(빨간 공 3회 | 빨간 공 비율 0.5) = 0.5 × 0.5 × 0.5 = 0.125  (12.5%)

조건(빨간 공 5개, 파란 공 5개)을 완전히 알고 있는 상태에서 앞으로 일어날 사건을 계산하는 것이 확률이며, 일어날 수 있는 모든 경우의 확률을 더하면 1이 된다.

2. 가능도: 관찰된 결과에서 원인을 역추적

1️⃣ L(조건 | 결과)

실세계에서 무엇인가를 '분석'하는 일들은 대개 확률과 반대 순서로 진행된다.

이미 수집된 결과를 보고 거기서부터 원인을 찾아가야 하는 경우가 대부분이다.

이때 사용하는 척도가 가능도다. 

질문의 방향도 바뀐다.

"이런 결과가 관찰됐는데, 어떤 조건에서 이런 결과가 나왔을까?"

2️⃣ 두 개의 상자

이번에는 똑같이 생긴 상자가 두 개 놓여 있다.

두 개의 상자에 각각 다음과 같은 구성으로 공이 들어있다는 것을 모두가 안다고 가정한다.

• A 상자: 빨간 공 5개, 파란 공 5개
• B 상자: 빨간 공 9개, 파란 공 1개

누군가 두 상자 중 하나를 골라 공을 꺼내 보여주고 다시 넣기를 3번 반복했다.

다만 어느 상자에서 꺼냈는지는 알려주지 않았다.

세 번 모두 빨간 공이었다. 

• 관찰(결과): 빨간 공이 3번 연속 나왔다. (이미 발생한 결과로, 바뀌지 않는다.)
• 추론 대상(조건): 공을 꺼낸 상자는 A인가 B인가.

문제는 상자 안을 들여다볼 수 없다는 점이다.

조건을 직접 확인할 수단이 없고, 오직 관찰 결과만이 단서가 될 뿐이다.

이런 상황에서 판단하려면 각 상자가 지금의 결과를 얼마나 그럴듯하게(likely) 설명하는지 점수를 매겨 서로 비교하는 방법밖에 없다.

그 점수가 바로 가능도(likelihood)다.

상자	빨간 공 비율	가능도 계산	값
A 상자	0.5	0.5 × 0.5 × 0.5	0.125
B 상자	0.9	0.9 × 0.9 × 0.9	0.729

 

B 상자를 가정했을 때 이 결과가 나올 확률이 A 상자를 가정했을 때보다 5.8배 크므로, 관측 결과만 놓고 보면 B 상자 쪽에 무게가 실린다.

 

주어진 데이터를 가장 잘 설명하는 조건을 골라내는 과정을 최대가능도추정(MLE, Maximum Likelihood Estimation)이라고 부른다.

여러 후보 중 가능도 값이 가장 큰 것을 선택한다는 뜻이다.

 

3️⃣ 가능도의 한계

가능도 계산은 관측된 데이터만 바라본다.

그래서 앞의 상자 문제에 대해 "B 상자 쪽이 5.8배 유력(likely)하다"는 결론을 내놓는다.

그런데 이 판단은 두 상자가 애초에 같은 빈도로 선택된다는 것을 전제하고 있다.

만약 창고에 A 상자가 압도적으로 많고 B 상자는 극히 드물다면 이야기가 달라진다.

A 상자에서 빨간 공이 3연속 나오는 일도 8번에 1번꼴로 벌어지는 흔한 사건이기 때문이다.

데이터가 가리키는 방향과 원래 알고 있던 빈도를 함께 저울에 올려야 판단이 완성된다.

그 저울 역할을 하는 것이 베이즈 정리다.

 

4. 베이즈 정리: 사전 지식과 새로운 증거를 결합

1️⃣ 새로운 증거와의 결합

베이즈 정리는 기존에 알고 있던 사실에 새로 관찰한 증거를 곱해 최종 확률을 도출한다.

따라서 이번에는 질문이 이렇게 바뀐다.

"새로운 증거(새로 관찰된 정보)가 있다면, 기존에 믿었던 확률은 어떻게 수정되어야 하는가?"

 

2️⃣ 베이즈 정리 각 항목의 의미

 

P(A) (사전 확률, Prior): 새로운 정보나 증거를 얻기 전, 사건 A가 일어날 것이라고 믿었던 원래의 확률
P(B) (증거, Evidence): 관찰된 새로운 정보 B 그 자체가 나타날 전체 확률
P(B|A) (가능도, Likelihood): 사건 A가 참(사실)이라고 가정할 때, 정보 B가 관찰될 확률
P(A|B) (사후 확률, Posterior): 새로운 정보 B가 관찰된 후, 새롭게 업데이트된 사건 A의 확률 (최종적으로 구하고자 하는 값)

 

분모에 놓인 증거 항이 이 식의 균형추 역할을 한다.

흔하게 관찰되는 증거일수록 분모가 커져 사후 확률을 끌어내린다.

특정 조건에서만 드물게 나타나는 증거여야 판단이 크게 바뀐다.

 

3️⃣ 커피와 암 발병률

"암 환자의 85%가 커피를 마신다"는 통계를 접했다고 가정한다.

이 사실만 보면 커피가 암의 유력한 원인인 것처럼 읽힌다.

그러나 베이즈 정리로 계산하면 결론이 달라진다.

• 사전 확률: 전체 인구가 암 진단을 받을 확률은 0.5%다. (0.005)
• 가능도: 암 환자 중 커피를 마시는 비율은 85%다. (0.85)
• 증거: 암 여부와 무관하게 전체 인구 중 커피를 마시는 비율은 65%다. (0.65)

구하려는 값은 "커피를 마신다는 증거가 있을 때 그 사람이 암일 확률"이다.

약 0.65%다.

 

전체 인구를 10,000명으로 놓고 계산해보면 다음과 같다. 

 

암 환자 중 커피 음용 비율이 85%에 이르더라도, 애초에 암 발병률 자체가 낮고 커피를 마시는 사람이 인구 전반에 워낙 많아 사후 확률은 0.65%에 머무는 것을 볼 수 있따.

분자에 해당하는 42.5명은 분모 6,500명 안에서 극히 작은 조각이다.

 

단편적인 가능도에 반응하지 않고 전체 통계라는 맥락 안에서 확률을 도출하는 것이 베이즈 정리의 역할이다.

또 중요한 것 하나, 이 계산은 두 항목이 함께 나타나는 정도를 말할 뿐 인과관계를 말하지 않는다.

사후 확률이 높게 나오더라도 그것만으로 커피가 암을 유발한다는 결론에는 이르지 못한다.

 

5. 결론(믿음)은 계속 갱신된다

1️⃣ 사후 확률 -> 다음 라운드의 사전 확률

베이즈 정리는 한 번 계산하고 끝나는 공식이 아니라 데이터가 들어올 때마다 반복되는 절차다.

이번에 산출된 사후 확률이 다음 라운드의 사전 확률이 되면서 결론이 계속 조정된다.

2️⃣ 두 개의 상자 문제

앞에서 가능도만으로는 빨간 공만 연속 3번 나올 확률이 B 상자가  A 상자에 비해 5.8배 우세하다는 결론이 나왔다.

여기에 사전 지식을 넣으면 판단이 달라진다.

이 상자들이 놓인 창고에는 A 상자가 99개, B 상자가 1개 있어 무작위로 집었을 때 B 상자일 확률이 1%라고 가정한다.

각 후보에 대해 사전 확률과 가능도를 곱한다.

A 상자 : 0.99 × 0.125 = 0.12375
B 상자 : 0.01 × 0.729 = 0.00729
두 값의 합 = 0.13104

B 상자 쪽 값이 전체에서 차지하는 비중이 곧 사후 확률이다.

사후 확률이 약 5.6%로 나온다.

가능도만 봤을 때는 B 상자가 압도적으로 높아 보였다.

그러나 B 상자 자체가 창고에 거의 없다는 사전 지식이 결합되자, A 상자일 가능성이 94% 이상이 된다.

그렇지만 B 상자의 사후 확률(5.6%)이 사전 확률(1%)보다는 높아졌다. 

 

3️⃣ 증거가 쌓이면 결론이 뒤집힌다

같은 계산을 빨간 공이 연속으로 나오는 횟수에 따라 반복하면 사후 확률이 어떻게 이동하는지 관찰할 수 있다.

우선 주어진 조건을 다시 한번 정리하면:

• A 상자: 빨간 공 5개, 파란 공 5개 (빨간 공 비율 0.5)
• B 상자: 빨간 공 9개, 파란 공 1개 (빨간 공 비율 0.9)
• 사전 확률: A 상자 99개, B 상자 1개 (B 상자 선택 확률 0.01)

이제 각 관측 횟수별로 B 상자의 사후 확률을 베이즈 정리로 계산해 보면 다음과 같다

P(B|빨간공n회) = P(빨간공n회|B)P(B) / [P(빨간공n회|B)P(B) + P(빨간공n회|A)P(A)]

 

n = 3일 때:
P(B|빨간공3회) = (0.9^3 × 0.01) / (0.9^3 × 0.01 + 0.5^3 × 0.99) ≈ 0.0557 ≈ 5.6%

n = 4일 때:
P(B|빨간공4회) = (0.9^4 × 0.01) / (0.9^4 × 0.01 + 0.5^4 × 0.99) ≈ 0.1336 ≈ 13.4%

n = 5일 때:
P(B|빨간공5회) = (0.9^5 × 0.01) / (0.9^5 × 0.01 + 0.5^5 × 0.99) ≈ 0.2852 ≈ 28.5%

n = 6일 때:
P(B|빨간공6회) = (0.9^6 × 0.01) / (0.9^6 × 0.01 + 0.5^6 × 0.99) ≈ 0.5083 ≈ 50.8%

n = 7일 때:
P(B|빨간공7회) = (0.9^7 × 0.01) / (0.9^7 × 0.01 + 0.5^7 × 0.99) ≈ 0.7195 ≈ 71.9%

n = 8일 때:
P(B|빨간공8회) = (0.9^8 × 0.01) / (0.9^8 × 0.01 + 0.5^8 × 0.99) ≈ 0.8534 ≈ 85.3%

 

📊 빨간 공 연속 관측 횟수에 따른 'B 상자' 사후 확률 (사전 확률 1%)

 

3회까지는 사후 확률이 5.6%에 머물러 사전 지식(B 상자가 창고 전체에서 차지하는 비율, 즉 1%)이 판단을 지배한다.

그러나 6회째부터 사후 확률이 50%를 넘어가고, 10회째는 거의 확신에 가까운 수준인 93.8%에 도달한다.

 

사전 확률은 성급한 결론을 붙잡아 두는 역할을 하지만 증거를 무한정 이기지는 못한다.

데이터가 충분히 쌓이면 결론은 데이터가 가리키는 방향으로 이동한다.

이 성질 덕분에 처음 세운 가정이 다소 부정확하더라도 관측이 누적되면서 판단이 제자리를 찾아가게 된다.

 

6. 정리

개념	고정값	변하는 값	방향성	질문의 방향
확률 (Probability)	조건	결과	조건 → 결과	A 상자에서 3번 연속 빨간 공이 나올 확률은?
가능도 (Likelihood)	결과	조건	결과 → 조건	빨간 공이 3번 연속 나왔는데 어느 상자가 이를 잘 설명하는가?
베이즈 정리 (Bayes' Theorem)	사전 확률 + 증거	사후 확률	기존 믿음 + 새 증거 → 갱신된 믿음	창고에 B 상자가 드물다면 실제로 B 상자일 확률은?

결국 위 세 개념은 하나의 흐름으로 이어진다.

확률은 조건이 주어졌을 때 결과를 예측하는 도구이고, 가능도는 관측을 근거로 조건 후보에 점수를 매기는 척도이며, 베이즈 정리는 그 점수를 기존 지식과 결합해 최종 판단으로 바꾸는 절차다.

데이터를 모아 모델을 고도화하거나 단편적인 통계에 휘둘리지 않고 의미를 해석하는 작업은 결국 이 세 가지가 맞물려 돌아가는 과정 위에서 이루어진다.