MLE 와 MAP 가 뭔가요? (최대우도추정과 최대사후확률추정)

MLE와 MAP 모두 모수를 추정하는데 사용됩니다. MLE 는 Maximum Likelihood Estimation 이고, MAP 는 Maximum A Posterior) 입니다. MLE 는 우도를 최대화하는 방식으로 모수를 추정하고, MAP 는 사후확률을 최대화하는 방식으로 모수를 추정합니다. 이렇게만 이야기하면 이해하기 어려우니 쉬운 예제로 둘의 차이를 알아봅시다. 

 

MLE

동전을 세번 던져서 HHT 가 나왔습니다. 우리가 궁금한 모수 $\theta$는 앞면이 나올 확률입니다. 앞면이 나올 확률이 $\theta$ 일 때 HHT 라는 결과가 나올 확률은 아래와 같이 표현됩니다. 

$P(HHT|\theta)=\theta^2(1-\theta)$

위 식의 좌변을 우도라고 부릅니다. 아래와 같이 나타냅니다. 

$L(\theta)=\theta^2(1-\theta)$

우도를 최대화하는 값을 모수의 추정값으로 사용합니다. 답은 미분을 통해 간단히 구할 수 있으므로 과정은 생략합니다. 

 

MAP

MLE와 같은 예제를 가정합시다. 동전을 세번 던져서 HHT 가 나왔습니다. 우리가 궁금한 모수 $\theta$는 앞면이 나올 확률입니다. 

MAP는 모수의 분포에 대한 사전정보를 사용하는 방법입니다. 아래 베이즈 공식을 사용합니다. 

$p(\theta | X)= \frac{p(X|\theta)p(\theta)}{p(X)}$

$p(\theta)$가 사전확률입니다. 우리는 아래와 같은 사전확률분포를 알고 있다고 가정합시다. 

$p(\theta)=2\theta$

우변은 아래와 같이 변형됩니다. 

$p(\theta | X)= \frac{\theta^2(1-\theta)2\theta}{p(X)}$

$p(X)$는 상수이므로 극값을 구할 때 필요하지 않습니다. 따라서 우리는 아래 식의 최댓값을 구하면 됩니다. 

$\theta^2(1-\theta)2\theta$

만약 사전확률이 균등분포라면 사전확률분포는 $p(\theta)=1$가 되므로 위 식은 아래와 같이 됩니다. 

$\theta^2(1-\theta)$

MLE에서 풀어야하는 식과 같습니다. MLE는 MAP의 사전확률분포를 균등분포로 설정한 경우라고 이해할 수 있습니다. 

 

MAP의 특징

1) 과적합되는 경향이 적음
2) 추정된 모수는 점이 아닌 분포임
3) MLE 보다 풀기 어려움
4) 데이터 사이즈가 작을 때 MAP가 MLE 보다 좋음