Blog

ProxylessNAS: Direct Neural Architecture Search On Target Task And Hardware Problems To Solve 기존 cotroller를 사용하는 방식의 NAS는 많은 GPU Time이 걸렸다. 이를 해결하기 위해 NAS의 objective function을 differentiable하게 만들어 archtecture search를 한 시도는 GPU Time은 많이 줄일 수 있었으나 GPU Memory 사용이 많았다. 더불어 ImageNet과 같은 큰 데이터셋에 대해서는 시간이 오래 걸려 proxy를 사용하여, network를 evaluation을 하려는 시도가 있었으나 proxy task에 evaluation된 아키텍쳐가 target task에서 성..

Search What You Want: Barrier Panelty NAS for Mixed Precision Quantization Generative Low-bitwidth Data Free Quantization Finding Non-Uniform Quantization Schemes using Multi-Task Gaussian Process Post-Training Piecewise Linear Quantization for Deep Neural Networks Task-Aware Quantization Network for JPEG Image Compresssion HMQ: Hardware Friendly Mixed Precision Quantization Block for CNNs Deep ..

EagleEye: Fast Sub-network Evaluation for Efficient Neural Network Pruning (oral) DAS: More Efficient Budgeted Pruning via Differentiable Sparsity Allocation DHP: Differentiable Meta Pruning via HyperNetworks Meta-Learning with Network Pruning DN-NAS: Data Adapted Pruning for Efficient Neural Architecture Search Differentiable Joint Pruning and Quantization for Hardware Efficiency Accelerating C..

Introduction - Reccurent model은 input/output sequence의 심볼 포지션에 따라서 계산을 나눈다. 즉, sequence를 처리하기 위해 t번째 input에 대한 output을 만들기 위해, t번째 input과 (t-1)번째 hidden state를 사용한다. - 이는 학습 시 t번째 hidden state를 얻기 위해 (t-1)번째 hidden state가 필요함을 뜻한다. 즉, 순서대로 계산해야 하는데 이때문에 병렬 처리에 제한이 생긴다. - 더불어 한 sequence 내에서 단어가 멀 경우, 서로간의 정보를 이용하지 못하는 'long-term dependency problem'이 발생한다. 입력 sequence가 짧은 경우 문제가 되지 않지만 긴 sequence를..

Robust Quantization: One Model to Rule Them All Adaptive Gradient Quantization for Data-Parallel SGD Position-based Scaled Gradient for Model Quantization and Sparse Training AMQ: Automatic Mixed-precision Quantization Based on Hessian Trace FleXOR: Trainable Fractional Quantization Bayesian Bits: Unifying Quantization and Pruning Universally Quantized Neural Compression Hierarchical Quantized A..

Structured Pruning과 Unstructured Pruning의 한계를 지적하고, 네트워크도 네트워크 아키텍쳐가 중요하듯 필터도 필터 자체의 아키텍쳐가 중요함을 언급하여 Filter Skeleton을 이용한 Pruning Technique을 제안한 논문입니다. Filter Skeleton이라는 아이디어가 돋보입니다.

Sanity-Checking Pruning Methods: Random Tickets can Win the Jackpot Scientific Control for Reliable Neural Network Pruning Pruning Filter in Filter Neuron-level Structured Pruning using Polarization Regularizer Directional Pruning of Deep Neural Networks Storage Efficient and Dynamic Flexible Runtime Channel Pruning via Deep Reinforcement Learning Movement Pruning: Adaptive Sparsity by Fine-Tuni..

Introduction SNIP을 structured setting으로 두고 적용한 논문이다. pruning시에 compute-aware scoring을 하여 가속에 초점을 맞춘 것이 특징이다. *3SP (Single Shot Structured Pruning) Method - 저자들은 SNIP의 setting을 효율적인 binary mask를 찾는 문제로 보았다. - convolution layer에서는 각 output channel에 linear layer에서는 각 hidden unit에 binary mask를 두었다. - SNIP에서 했던 것과 유사하게 세 가지 가정을 갖고서 변화율을 근사했다. 1. binary mask를 연속적인 변수로 근사하였다. 2. first-order taylor expa..

Introduction - 기존의 efficient network를 디자인하는 방법은 크게 두가지, MobileNet, ShuffleNet과 같은 'Compact Model Design'과 Pruning, Quantization, Distillation을 이용한 'Model Compression'이 있다. 이 방법은 deployment scenario에 따라서 total cost가 선형적으로 증가함. 가령, 스마트폰에 모델을 탑재하려고해도 AP에 따라 specialized model이 달라질 것이다. - 이를 해결하기 위해 diverse sub-network을 가질 수 있는 'Once for All Network (OFA Network)'를 디자인했음. 플랫폼에 탑재 시에는 ofa network의 sub..

Introduction 본 논문은 기존 경량화 모델에서 고려됐던 metric인 FLOPs이 간접적인 메트릭임을 지적하며 직접적인 메트릭인 speed와 latency를 언급했다. 더불어 네트워크 디자인에 대한 가이드라인을 제시하며 이에 따라 업그레이드된 ShuffleNetV2를 제안한다. 기존의 경량화 모델들은 주로 depth conv, ptwise conv, group conv과 같은 tensor decomposition을 활용하여 FLOPs을 줄이는 걸 목표로 디자인했다. 이를 따르면 실제 기기에 올라갈 때 빨라질 것 같지만 그렇지 않다. FLOPs만을 고려하는 디자인은 sub-optimal한 디자인일 수 밖에 없다. 1) FLOPs에는 영향을 덜 끼치지만 speed에는 영향을 끼치는 팩터가 있기 때문..