Blog

Paper Link: https://arxiv.org/abs/1810.02340 Github: https://github.com/namhoonlee/snip-public Introduction 본 논문은 ICLR 2019에서 발표된 weight pruning 논문입니다. 본 논문에서는 기존의 pruning 기법들이 휴리스틱에 근거한 hyperparameter를 사용하거나 iterative하게 pruning하는 것을 지적하며, training이전에 connection sensitivity를 계산하여 이를 기반으로 single-shot pruning하는 것을 제안합니다. 실제로 origianal network보다 efficient한 subnetwork를 얻기 위해서는 꼭 학습이 필요한 것인가? 그리고, 프루..

Paper Link: https://arxiv.org/abs/1811.00250 Github: https://github.com/he-y/filter-pruning-geometric-median Introduction 본 논문은 CVPR 2019에서 발표된 filter pruning 논문입니다. Pruning은 종류에 따라서 개별적인 weight을 없애는 unstructured pruning, 모델의 architecture(filter, subkernel, channel...)를 없애는 structured pruning이 있습니다. 그 중에서 가장 regularity가 높은 filter pruning은 모델을 경량화할 뿐만 아니라 가속화에도 상당한 이점을 줍니다. 본 논문은 기존에 제시된 연구들에서 차용..

Paper Link: https://arxiv.org/abs/1607.04381 Github: x Introduction ICLR 2017에 게재된 논문입니다. 이 논문에서는 pre-trained network를 pruning을 통해 sparse하게 만든 뒤 re-dense하게 만들었더니 성능이 향상됐음을 보이는 실험적인 논문입니다. 저자가 Song.Han이라는 분으로 이전의 리뷰한 논문의 연장선상에 있다고 볼 수 있는데요. 당시에 pruning을 60%가량 했음에도 불구하고 약간의 accuracy 향상이 있다는 것에 착안하여 pruning을 통해서 feature extraction을 잘 해주는 weight들을 골라냈으니 이걸 갖고서 training을 하면 더 나은 accuracy 향상을 보일 수 있지 ..

이번 포스팅에서는 GPU에서 매우 큰 matrix를 효율적으로 연산하게 해주는 최적화 기법인 matrix tiling에 대해서 알아보겠습니다. 이는 matrix-matrix multiplication의 효율을 높여주기 위해 사용됩니다. 우선 matrix tiling을 해주기 위해서는 input matrix 2개와 result matrix를 tiling해주어야 합니다. 그리고 난 뒤에는 이들을 tile단위로 multiplication을 해주어 result matrix에 저장해줍니다. 이걸 열과 행단위로 matrix 전체를 계산해주면 됩니다. 이에 대한 pseudo-code는 다음과 같습니다. 이렇게 tiled matrix multiplication을 해주면 전체 matrix가 GPU memory에 fit하..

Paper Link : https://arxiv.org/abs/1802.05668 Github : https://github.com/antspy/quantized_distillation 스터디에서 발표했다. Quantized Knowledge Distillation 관한 내용이었는데, 관련 배경지식이 많이 부족해서 힘들었다. KD는 심플하게 Teacher Network의 soft label로 Student Network를 training 시키는 것으로 알고 있다. 이 과정이 Knowledge Transfer이고 이때 생기는 loss를 Distillation Loss라고 한다. 그런데 Quantization을 공부한다면 다음과 같은 생각을 해볼 수 있을 것이다. 적정 Criteria에 따라서 student..

Paper Link : https://arxiv.org/abs/1705.08922 Github : x

Paper Link : https://ieeexplore.ieee.org/document/8192500 Github : https://github.com/jiecaoyu/scalpel-1 Introduction ISCA에 2017년에 게재된 논문입니다. 이 논문에서는 network pruning을 함에도 불구하고 실제로는 inference시에 퍼포먼스가 떨어지는 것을 지적한 뒤 하드웨어의 병렬성에 최적화하여 pruning 하는 기법을 소개합니다. 병렬성 수준에 따라 SIMD-aware pruning, Node pruning을 소개하며 5개의 DNN에 대해 3가지 하드웨어 플랫폼에 따른 실험을 통해 기존의 방법들을 얼마나 outperform 하는지 보여줍니다. 전통적인 pruning의 경우 가장 많이 이야..

Intro 우리는 흔히 머신러닝 공부를 하다보면 MLE, MAP를 접해보게 될 기회가 많습니다. 다른 기초가 없이 공부를 할 때 MLE, MAP와 같은 것을 접한다면 꽤나 난감합니다. 머신러닝, neural network를 갖고 우리가 원하는 것은 training data를 갖고 그게 DNN, CNN, RNN이든 뭐든간에 적당한 함수를 하나 잘 근사하는 것입니다. 하지만 이걸 확률의 관점으로 본다면 우리는 true probability distribution을 찾는 과정으로 생각을 할 수가 있습니다. 그러면 우린 여기서 이 distribution을 표현하는 parameter를 어떻게 찾을 것인가에 대한 need가 생기는데, 여기서 MLE나 MAP라는 방법론을 사용합니다. MLE 압정을 던졌을 때 압정이 ..

Paper Link : https://arxiv.org/abs/1506.02626 Github : x Introduction 현재 MIT 조교수로 재직중인 Song Han이 Stanford에서 박사과정 중에 쓴 network pruning paper입니다. 그가 제시한 방법은 다음과 같습니다. Strategy 1. Pre-training network 2. Prune weight 3. Fine-tune 4. Iterate 2-3 우선 어떤 weight이 중요한 지 알기 위해 neural network를 training 시킵니다. 그리고 중요하지 않은 weight을 일정 threshold가 넘으면 남겨두고, 넘지 않으면 pruning 시켜줍니다. 그리고 남은 network에 대해서 Fine-tuning을 ..

2019년 목표 50편 정독하기, 10개 Pytorch, tensorflow로 구현해보기(...) 최초 작성 (2019.10.08) 1차 수정 (2019.10.16) 2차 수정 (2019.10.22) 3차 수정 (2019.10.30) 4차 수정 (2019.11.07) 5차 수정 (2019.11.17) 6차 수정 (2019.11.26) 7차 수정 (2019.12.04) 8차 수정 (2019.12.26) 공부한 것 Optimal Brain Damage NIPS 1989 Learning both Weights and Connections for Efficient Neural Networks NIPS 2015 Deep Compression: Comressing Deep Neural Networks with Pr..