Blog

Gate Decorator: Global Filter Pruning Method for Accelerating Deep Convolutional Neural Networks Network Pruning via Transformable Architecture Search AutoPrune: Automatic Network Pruning by Regularizing Auxiliary Parameters Global Sparse Momentum SGD for Pruning Very Deep Neural Networks Deconstructing Lottery Tickets: Zeros, Signs, and the Supermask One ticket to win them all: generalizing lot..

Paper Link: https://arxiv.org/abs/1810.02340 Github: https://github.com/namhoonlee/snip-public Introduction 본 논문은 ICLR 2019에서 발표된 weight pruning 논문입니다. 본 논문에서는 기존의 pruning 기법들이 휴리스틱에 근거한 hyperparameter를 사용하거나 iterative하게 pruning하는 것을 지적하며, training이전에 connection sensitivity를 계산하여 이를 기반으로 single-shot pruning하는 것을 제안합니다. 실제로 origianal network보다 efficient한 subnetwork를 얻기 위해서는 꼭 학습이 필요한 것인가? 그리고, 프루..

Paper Link: https://arxiv.org/abs/1811.00250 Github: https://github.com/he-y/filter-pruning-geometric-median Introduction 본 논문은 CVPR 2019에서 발표된 filter pruning 논문입니다. Pruning은 종류에 따라서 개별적인 weight을 없애는 unstructured pruning, 모델의 architecture(filter, subkernel, channel...)를 없애는 structured pruning이 있습니다. 그 중에서 가장 regularity가 높은 filter pruning은 모델을 경량화할 뿐만 아니라 가속화에도 상당한 이점을 줍니다. 본 논문은 기존에 제시된 연구들에서 차용..

Paper Link: https://arxiv.org/abs/1607.04381 Github: x Introduction ICLR 2017에 게재된 논문입니다. 이 논문에서는 pre-trained network를 pruning을 통해 sparse하게 만든 뒤 re-dense하게 만들었더니 성능이 향상됐음을 보이는 실험적인 논문입니다. 저자가 Song.Han이라는 분으로 이전의 리뷰한 논문의 연장선상에 있다고 볼 수 있는데요. 당시에 pruning을 60%가량 했음에도 불구하고 약간의 accuracy 향상이 있다는 것에 착안하여 pruning을 통해서 feature extraction을 잘 해주는 weight들을 골라냈으니 이걸 갖고서 training을 하면 더 나은 accuracy 향상을 보일 수 있지 ..

이번 포스팅에서는 GPU에서 매우 큰 matrix를 효율적으로 연산하게 해주는 최적화 기법인 matrix tiling에 대해서 알아보겠습니다. 이는 matrix-matrix multiplication의 효율을 높여주기 위해 사용됩니다. 우선 matrix tiling을 해주기 위해서는 input matrix 2개와 result matrix를 tiling해주어야 합니다. 그리고 난 뒤에는 이들을 tile단위로 multiplication을 해주어 result matrix에 저장해줍니다. 이걸 열과 행단위로 matrix 전체를 계산해주면 됩니다. 이에 대한 pseudo-code는 다음과 같습니다. 이렇게 tiled matrix multiplication을 해주면 전체 matrix가 GPU memory에 fit하..

Paper Link : https://arxiv.org/abs/1802.05668 Github : https://github.com/antspy/quantized_distillation 스터디에서 발표했다. Quantized Knowledge Distillation 관한 내용이었는데, 관련 배경지식이 많이 부족해서 힘들었다. KD는 심플하게 Teacher Network의 soft label로 Student Network를 training 시키는 것으로 알고 있다. 이 과정이 Knowledge Transfer이고 이때 생기는 loss를 Distillation Loss라고 한다. 그런데 Quantization을 공부한다면 다음과 같은 생각을 해볼 수 있을 것이다. 적정 Criteria에 따라서 student..

Paper Link : https://arxiv.org/abs/1705.08922 Github : x

Paper Link : https://ieeexplore.ieee.org/document/8192500 Github : https://github.com/jiecaoyu/scalpel-1 Introduction ISCA에 2017년에 게재된 논문입니다. 이 논문에서는 network pruning을 함에도 불구하고 실제로는 inference시에 퍼포먼스가 떨어지는 것을 지적한 뒤 하드웨어의 병렬성에 최적화하여 pruning 하는 기법을 소개합니다. 병렬성 수준에 따라 SIMD-aware pruning, Node pruning을 소개하며 5개의 DNN에 대해 3가지 하드웨어 플랫폼에 따른 실험을 통해 기존의 방법들을 얼마나 outperform 하는지 보여줍니다. 전통적인 pruning의 경우 가장 많이 이야..