베이즈 추론이란 무엇인가

베이즈 추론의 목적부터 생각해봅시다. 베이즈추론의 목적은 '모수'를 알아내는 것입니다. 베이즈추론에서는 데이터를 가지고 모수가 발생할 확률을 계산합니다. 아래 확률입니다. 

$P(\theta | data)$

위 확률을 구하는 것은 어렵기 때문에 베이즈정리가 사용됩니다. 위 식에 베이즈 정리를 적용하면 아래와 같습니다. 

$P\left ( \theta | data \right )=\frac{P\left ( data|\theta \right )P(\theta)}{P(data)}$

좌변을 데이터가 발생한 뒤에 계산한 확률이므로 '사후확률'이라고 부릅니다. 영어로는 posterior 입니다. 우변의 분자의 첫항은 우도(likelihood) 입니다. 우변 분자의 둘째항은 사전확률입니다. 영어로 prior 입니다. 우변의 분모는 evidence 입니다. 어느저도 직관적으로 납득이 가실겁니다. 

베이즈추론에서는 베이즈갱신이 사용됩니다. data1을 얻었다고 합시다. 먼저 $P\left ( \theta | data \right ) $를 구합니다. 사후확률입니다. 이후 data2를 또 얻었다고 한다면, 방금 구한 사후확률이 data2를 이용할 때는 사전확률이 됩니다. 이 과정을 반복하는 것이 베이즈 갱신입니다.