과적합(Overfitting)

1. Overfitting이란?

---

• 복잡한 모형일수록, 데이터가 적을수록 Overfitting이 일어나기 쉬움 (학습데이터에 너무 잘 맞은 나머지 검증데이터에 맞지 않은 것)

2. 과적합(Overfitting)

---

• 분산(Variance)과 편향(Bias)의 트레이드오프(Tradeoff)

  • 모형$\hat{f}(X)$로 모집단의 전체 데이터를 예측할 때 발생하는 총 Error를 계산하면 reducible error(돌이킬 수 있는 에러)와 irreducible error(돌이킬 수 없는 에러)로 표현되며, reducible error는 다시 분산과 편향으로 구성

$$E(Y-\bar{Y})^{2} = E[f(X)+\epsilon -\hat{f}(X)]^{2} = Var(\hat{f}(X)) + [Bias(\hat{f}(X))]^{2} + Var(\epsilon )$$

• 분산 : 전체 데이터 집합 중 다른 학습 데이터를 이용했을 때, f_hat이 변하는 정도 (복잡한 모형일수록 분산이 높음)

• 편향 : 학습 알고리즘에서 잘못된 가정을 하였을 때 발생하는 오차 (간단한 모형일수록 편향이 높음)

• 복잡한 모형 $\hat{f}(X)$을 사용하여 편향을 줄이면, 반대로 분산이 커짐 (간단한 모형일 경우에 반대의 현상이 발생)

• 따라서 분산과 편향이 작은 모형을 찾는게 중요함

3. 분산(Variance)과 편향(Bias)의 트레이드오프(Tradeoff)

---

※ 적절한 모형 선택과 실험 설계를 통한 과적합 방지가 필요!!