딥러닝에서 에폭과 배치 쉽게 이해하기

에폭 (epoch)

• 1에폭이란 모든 훈련 데이터가 학습에 한번씩은 사용되는 것을 의미함.
• 예를 들어, 데이터가 500개라면 500개의 데이터를 모두 학습해야 1에폭이 됨
• 그러나 1000개의 데이터를 한번에 입력하고 가중치를 수정하면 메모리 사용량이 급격히 증가하고, CPU나 GPU성능이 저하될 수 있음.
• 이러한 문제를 해결하기 위해 배치(batch) 개념을 사용함.

배치 (batch)

• 전체 데이터를 여러개의 그룹으로 나누는데, 이 그룹을 배치라고 부름
• 예를 들어, 500개의 데이터를 50개씩 묶으면 10개의 배치가 생김.
• 각 배치를 학습할 때마다 가중치를 업데이트하여 모델을 점진적으로 최적화함. 
• 10개의 배치가 모두 학습에 사용된 것이 1에폭임. 

배치학습 VS 미니배치학습

• 전체 데이터를 여러개 그룹으로 나눠서 학습하는 방식을 '배치학습' 이라고 부르면 직관적일 것 같지만, 그럴 수가 없었음.
• 왜냐하면, 이미 '배치학습'이라는 용어가 전체 데이터를 한번에 입력하여 학습하는 방식을 의미하고 있었기 때문임.
• 만약 이를 "전체 학습" 이라고 불렀다면 혼란이 덜했을 텐데, 그렇지 않아서 용어가 다소 애매해짐.
• 이러한 이유로 전체 데이터를 여러개 그룹으로 나눠서 학습하는 방식을 '미니배치학습'이라고 부르게 됨.