CNN 모델 간단 정리

GoogLeNet (ILSVRC 2014)

- AlexNet이 갖는 computation cost를 줄이기 위해 FC layer를 AvgPooling으로 대체 (Network In Network)

- Inception 모듈 도입

> 모델이 깊어짐에 따른 경사 소실/폭발로 인한 성능 저하

 

ResNet (ILSVRC 2015)

- 깊은 신경망을 효율적으로 학습시키기 위한 residual connection 도입

DenseNet (CVPR 2017)

- residual connection을 개선한 dense connectivity 도입

SENet (ILSCRC 2017)

- Recalibration을 위해 어떤 채널이 중요한지 고려하는 self attetion 모듈 도입

> 모델 성능이 향상되었지만 모델 사이즈가 커짐에 따라 on-device deep learning을 하는 것이 불가능

> 이에 따라 pointwise/depthwise convolution을 이용한 MobileNet, Shufflenet과 같은 경량 모델이 등장

> 그리고 모델 설계를 ML에 맡기는 NasNet과 같은 모델이 등장하게 됨

 

추후에 LeNet, AlexNet, VGGNet과 위에 적은 모델에 대해 자세하게 리뷰할 예정..