[Statistics] Bayes' theorem

베이즈 정리는 데이터라는 조건이 주어졌을 때의 조건부 확률을 구하는 공식이다. 베이즈 정리를 쓰면 데이터가 주어지기 전의 사전확률값이 데이터가 주어지면서 어떻게 변하는지 계산할 수 있다. 따라서 데이터가 주어지기 전에 이미 어느 정도 확률값을 예측하고 있을 때 이를 새로 수집한 데이터와 합쳐서 최종 결과에 반영할 수 있다. 데이터의 개수가 부족한 경우 유용하게 사용된다. 데이터를 매일 추가적으로 얻는 상황에서도 매일 전체 데이터를 대상으로 새로 분석작업을 할 필요 없이 어제 분석결과에 오늘 들어온 데이터를 합쳐서 업데이트만 하면 되므로 유용하게 활용이 가능하다.

베이즈 정리 공식

---

조건부 활률을 구하는 베이즈 정리의 공식은 다음과 같다.

$$P(A \mid B)=\frac{P(B \mid A)P(A)}{P(B)}$$

4개의 확률 값 중 $P(A)$와 $P(A \mid B)$는 각각 사전 확률, 사후 확률이라고 부르고, 베이즈 정리는 사전확률과 사후확률 사이의 관계를 나타내는 정리이다.

(Proof)

$$P(A \mid B) = \frac{P(A,B)}{P(B)}\rightarrow P(A,B) = P(A \mid B)P(B)$$ 

$$P(B \mid A) = \frac{P(A,B)}{P(A)}\rightarrow P(A,B) = P(B \mid A)P(A)$$

$$P(A,B) = P(A \mid B)P(B) = P(B \mid A)P(A)$$

$$P(A \mid B)= \frac{P(B \mid A)P(A)}{P(B)}$$

사후 확률값은 사전확률값인 $P(A)$에 $\frac{P(B \mid A)}{P(B)}$라는 값을 곱하면 얻을 수 있다. 곱하는 $P(B \mid A)$는 가능도(likelihood)라고 하고 나누는 $P(B)$는 정규화 상수(normalizing constant) 혹은 증거(evidence)라고 한다.

$$P(A \mid B) = \frac{P(B \mid A)P(A)}{P(B)}$$

• $P(A \mid B)$ : 사후확률(posterior). 사건 $B$가 발생한 후 갱신된 사건 $A$의 확률
• $P(A)$ : 사전확률(prior). 사건 $B$가 발생하기 전에 가지고 있던 사건 $A$의 확률
• $P(B \mid A)$ : 가능도(likelihood). 사건 $A$가 발생한 경우 사건 $B$의 확률
• $P(B)$ : 정규화 상수(normalizing constant) 또는 증거(evidence). 확률의 크기 조정

베이즈 정리는 사건 $B$가 발생함으로써(사건 $B$가 진실이라는 것을 알게 됨으로써, 즉 사건 $B$의 확률 $P(B)=1$이라는 것을 알게 됨으로써) 사건 $A$의 확률이 어떻게 변화하는지를 표현한 정리다. 따라서 베이즈 정리는 새로운 정보가 기존의 추론에 어떻게 영향을 미치는지를 나타낸다.