Epoch, Step, Batch size

Epoch: 전체 데이터를 1회 훑어 학습하는 거.

Step: 파라미터를 1회 업데이트하는 거.

Batch size: Step 1회에 사용되는 데이터 개수.

 

훈련하고 싶은 데이터가 2048개 있는 경우 Batch size를 32로 잡으면 한 Epoch에 몇 번의 Step이 필요한가?

2048/32 = 64 Step

(number_of_data/batch_size=number_of_step)

 

위의 가정을 그대로 가져오고 100 Epoch 학습을 시킨다면 파라미터는 몇 번 업데이트 되는가?

64*100 = 6400

 

훈련하고 싶은 데이터가 2048개 있고, Batch size를 16으로 잡고, 10 Epoch 학습을 시키면 파라미터는 몇 번 업데이트 되는가?

(2048/16)*10 = 1280

 

*보통 step과 iteration을 동일하게 사용한다.