Blog

Paper Link: https://arxiv.org/abs/1810.02340 Github: https://github.com/namhoonlee/snip-public Introduction 본 논문은 ICLR 2019에서 발표된 weight pruning 논문입니다. 본 논문에서는 기존의 pruning 기법들이 휴리스틱에 근거한 hyperparameter를 사용하거나 iterative하게 pruning하는 것을 지적하며, training이전에 connection sensitivity를 계산하여 이를 기반으로 single-shot pruning하는 것을 제안합니다. 실제로 origianal network보다 efficient한 subnetwork를 얻기 위해서는 꼭 학습이 필요한 것인가? 그리고, 프루..

Paper Link: https://arxiv.org/abs/1811.00250 Github: https://github.com/he-y/filter-pruning-geometric-median Introduction 본 논문은 CVPR 2019에서 발표된 filter pruning 논문입니다. Pruning은 종류에 따라서 개별적인 weight을 없애는 unstructured pruning, 모델의 architecture(filter, subkernel, channel...)를 없애는 structured pruning이 있습니다. 그 중에서 가장 regularity가 높은 filter pruning은 모델을 경량화할 뿐만 아니라 가속화에도 상당한 이점을 줍니다. 본 논문은 기존에 제시된 연구들에서 차용..

Paper Link: https://arxiv.org/abs/1607.04381 Github: x Introduction ICLR 2017에 게재된 논문입니다. 이 논문에서는 pre-trained network를 pruning을 통해 sparse하게 만든 뒤 re-dense하게 만들었더니 성능이 향상됐음을 보이는 실험적인 논문입니다. 저자가 Song.Han이라는 분으로 이전의 리뷰한 논문의 연장선상에 있다고 볼 수 있는데요. 당시에 pruning을 60%가량 했음에도 불구하고 약간의 accuracy 향상이 있다는 것에 착안하여 pruning을 통해서 feature extraction을 잘 해주는 weight들을 골라냈으니 이걸 갖고서 training을 하면 더 나은 accuracy 향상을 보일 수 있지 ..

Paper Link : https://arxiv.org/abs/1802.05668 Github : https://github.com/antspy/quantized_distillation 스터디에서 발표했다. Quantized Knowledge Distillation 관한 내용이었는데, 관련 배경지식이 많이 부족해서 힘들었다. KD는 심플하게 Teacher Network의 soft label로 Student Network를 training 시키는 것으로 알고 있다. 이 과정이 Knowledge Transfer이고 이때 생기는 loss를 Distillation Loss라고 한다. 그런데 Quantization을 공부한다면 다음과 같은 생각을 해볼 수 있을 것이다. 적정 Criteria에 따라서 student..

Paper Link : https://arxiv.org/abs/1705.08922 Github : x

Paper Link : https://ieeexplore.ieee.org/document/8192500 Github : https://github.com/jiecaoyu/scalpel-1 Introduction ISCA에 2017년에 게재된 논문입니다. 이 논문에서는 network pruning을 함에도 불구하고 실제로는 inference시에 퍼포먼스가 떨어지는 것을 지적한 뒤 하드웨어의 병렬성에 최적화하여 pruning 하는 기법을 소개합니다. 병렬성 수준에 따라 SIMD-aware pruning, Node pruning을 소개하며 5개의 DNN에 대해 3가지 하드웨어 플랫폼에 따른 실험을 통해 기존의 방법들을 얼마나 outperform 하는지 보여줍니다. 전통적인 pruning의 경우 가장 많이 이야..

Paper Link : https://arxiv.org/abs/1506.02626 Github : x Introduction 현재 MIT 조교수로 재직중인 Song Han이 Stanford에서 박사과정 중에 쓴 network pruning paper입니다. 그가 제시한 방법은 다음과 같습니다. Strategy 1. Pre-training network 2. Prune weight 3. Fine-tune 4. Iterate 2-3 우선 어떤 weight이 중요한 지 알기 위해 neural network를 training 시킵니다. 그리고 중요하지 않은 weight을 일정 threshold가 넘으면 남겨두고, 넘지 않으면 pruning 시켜줍니다. 그리고 남은 network에 대해서 Fine-tuning을 ..

2019년 목표 50편 정독하기, 10개 Pytorch, tensorflow로 구현해보기(...) 최초 작성 (2019.10.08) 1차 수정 (2019.10.16) 2차 수정 (2019.10.22) 3차 수정 (2019.10.30) 4차 수정 (2019.11.07) 5차 수정 (2019.11.17) 6차 수정 (2019.11.26) 7차 수정 (2019.12.04) 8차 수정 (2019.12.26) 공부한 것 Optimal Brain Damage NIPS 1989 Learning both Weights and Connections for Efficient Neural Networks NIPS 2015 Deep Compression: Comressing Deep Neural Networks with Pr..