[머신러닝 모델 검증의 이해] 3. k-fold cross validation

k-fold 교차검증은 아래 순서로 진행됩니다. 

1. 데이터셋을 learning set과 test set으로 나눔
2. learning set 을 k개의 fold로 나눔
3. 첫번째 fold 를 validation set 으로 나머지 fold를 training set 으로 사용하여 모델을 학습하고 error를 계산함. 
4. 두번째 fold 를 validation set 으로 나머지 fold를 training set 으로 사용하여 모델을 학습하고 error를 계산함. 
5. 4번 과정을 나머지 fold에 대해 반복함
6. 각 fold에서 구해진 error 들의 평균을 계산함
7. learning set 전체를 학습시키고 test set으로 평가함

아마 그래서 어쩌라는건지라는 의문이 드는 분들이 계실겁니다. 위 과정은 이미 하이퍼파라미터들이 결정된 상황에서 단순히 성능을 평가하는 방법입니다. 우리가 모델을 개발할 때는 하이퍼파라미터의 값을 바꿔가며 최적의 모델을 찾습니다. 우리에게 필요한 것은 최적의 파라미터를 찾는 방법입니다. 검증은 최적의 파라미터를 찾는 과정에서 필요한 것입니다. 최적의 파라미터를 찾는 과정을 model selection 이라고 부릅니다. 

다음시간에는 k-fold 교차검증을 응용한 model selection 방법인 nested cross validation 에 대해 알아봅시다.