Blog

Collaborative Channel Pruning for Deep Networks Approximated Oracle Filter Pruning for Destructive CNN Width Optimization EigenDamage: Structured Pruning in the Kronecker-Factored Eigenbasis LIT: Learned Intermediate Representation Training for Model Compression

Introduction 텐서 계산은 고차원 배열을 계산하는 걸 말한다. GPU에서는 cuDNN이, Intel CPU에서는 MKL이, FPGA에서는 FBLAS가 이를 도와준다. 이들은 모두 사람이 직접 만든 라이브러리다. 그렇기 때문에 알고리즘이 개발되는 것에 비해 느리다는 단점이 있다. 그리고 하드웨어에따라 라이브러리가 각기 다른 것이 있다시피 하드웨어에따라 최적화해줄 수 있는 부분이 다양해지기 때문에 모든 부분을 고려해주기는 힘들다. 그래서 본논문에서는 이를 AutoML을 이용해 다양한 schedule primitives를 fine-tuning해주는 프레임워크인 FlexTensor를 개발했다. Dense tensors에 대해서만 고려하였고, sparse tensor에 대해서는 고려하지 않았다. 경량/가..

Paper Link: https://arxiv.org/abs/1511.05678 분류 모델의 decision boundary가 히든 레이어의 activation간 조합이 아닌, activation boundary의 조합으로 결정된다는 논문. 이후 서울대 최진영 교수님 팀에서 AAAI2019에 퍼블리쉬한 'Knowledge Transfer via Distillation of Activation Boundaries Formed by Hidden Neuron'의 모티브가 됨.

Paper Link: https://arxiv.org/abs/1801.01203 Official Link: https://meltdownattack.com Idea: cache slide channel attack + speculative execution cache slide channel attack 캐시에 블록이 저장돼있다면, 그 블록에 대한 메모리 접근 시간이 매우 짧고 블록이 캐시에 없으면 블록에 대한 메모리 접근 시간이 길다는 점을 이용한 것이다. 그래서, attacker process가 1이라는 데이터를 다른 프로세스에게 전달하려고 할 때 1을 특정 메모리 공간에 저장하는 것이 아니고, 1이라는 주소를 접하여 1이라는 주소에 대한 cache location에 블록이 저장되도록 한다. 그러면 ..

Paper Link:https://arxiv.org/abs/1802.03494 Introduction - Model Compression을 위해서 AutoML, 그 중에서도 강화학습을 이용한 논문이다. - Model Compression중에서 Channel Pruning을, Agent로는 DDPG model을 이용했다. Method - State space는 위와 같다. - Action space는 continuous하게 설계햇다. - 여기서 action은 얼마나 pruning을 할거냐를 묻는 것이다. - 이전 연구들이 action space를 discrete하게 설계를 하니, compression ratio와 accuracy를 둘 다 옵티멀하게 가져가지 못하는 것 같아서 continous하게 설계했다고..

Paper Link: https://openreview.net/pdf?id=S1gSj0NKvB Introduction 본 논문은 sparse network의 정확도를 회복할 목적으로 fine-tuning 대신 rewinding이라는 기법을 제안한 논문입니다. "Lottery Ticket Hypothesis"를 비롯한 기존 pruning procedure를 지적하는데, lottery ticekt을 다시 살펴보면 이는 다음과 같습니다. 여기서 네번째에 주목하면, sparse network의 weight을 original network의 initialization weight으로 초기화시켜주는데, 이때 수렴속도가 느린 것을 지적합니다. Rewinding 저자들은 pruning이후 weight을 initiali..

Reborn Filters: Pruning Convolutional Neural Networks with Limited Data Learning Agent Communication under Limited Bandwidth by Message Pruning Dynamic Network Pruning with Interpretable Layerwise Channel Selection Real-Time Object Tracking via Meta-Learning: Efficient Model Adaptation and One-Shot Channel Pruning PCONV: The Missing but Desirable Sparsity in DNN Weight Pruning for Real-time Exec..

Paper Link: https://arxiv.org/abs/1611.01232 - mean field theory를 이용해 randomly initialized된 untrained neural network의 behavior를 연구함 - signal propagation의 maximum depth가 존재함을 보임 - information이 network의 끝까지 전파되면 잘 훈련됨을 practical하게 보임 - 즉, depth scale은 network를 얼마나 깊게 할 수 있는 지에 대한 bound를 보여줌 - 그런데 depth scale이 발산할 수도 있음 - 발산하면 정보가 끝까지 잘 전파되지 않아 학습이 잘 안됨 - dropout을 쓰면 critical point(?)를 파괴해, random ..

One-Shot Pruning of Recurrent Neural Networks by Jacobian Spectrum Evaluation Lookahead: A Far-sighted Alternative of Magnitude-based Pruning Dynamic Model Pruning with Feedback Provable Filter Pruning for Efficient Neural Networks Data-Independent Neural Pruning via Coresets Comparing Fine-tuning and Rewinding in Neural Network Pruning (oral) A Signal Propagation Perspective for Pruning Neural ..

Gate Decorator: Global Filter Pruning Method for Accelerating Deep Convolutional Neural Networks Network Pruning via Transformable Architecture Search AutoPrune: Automatic Network Pruning by Regularizing Auxiliary Parameters Global Sparse Momentum SGD for Pruning Very Deep Neural Networks Deconstructing Lottery Tickets: Zeros, Signs, and the Supermask One ticket to win them all: generalizing lot..