Blog

- PAC Learning과 이와 관련된 부등식인 marcov inequality, chebyshev inequality, chernoff-hoffeding inequlaity에 대해 정리했습니다. - 다양한 norm에 대해 정리하고 이와 관련된 공간인 inner product space, normed space, metric space에 대해 정리했습니다. - inner product로 norm을 만들고, norm으로 metric을 만들어 각각의 공간을 만들 수 있지만 역이 항상 성립하지는 않습니다. - metric으로 norm을 만들기 위해서는 transition, homogenity condition을 만족해야 합니다. - norm으로 inner product를 만들기 위해서는 parallegram..

convex function과 convex optimization problem을 정리한 필기노트입니다. - convex function의 정의와 종류, 그리고 다루는 공간이 달라졌을 때 convex function의 예시에 대해 정리했습니다. - 미분가능한 함수에 대해 convexity를 확인할 수 있는 first,second-order condition과 예시에 대해 정리했습니다. - convex optimization problem의 standard form과 feasibility, optimal value/solution, 그리고 이에 대한 optimality에 대해 정리했습니다. - 미분가능한 함수가 주어졌을 때 stationary point, local minimum, global minimu..

베르누이 프로세스와 푸아송 프로세스 필기 노트입니다. 각 프로세스의 특징을 개괄적으로 살펴보았습니다. 1. Fresh Start Property 2. Memoryless Property - Poisson is approximated by Bernoulli. - Splitting Bernoulli, Poisson

*본 포스팅은 NNI 도큐먼트의 'Dependency-aware Mode' 항목을 번역한 것입니다. (nni.readthedocs.io/en/latest/Compression/DependencyAware.html) Dependency-aware Mode for Filter Pruning 지금까지 FPGM, L1, L2 APoZ Filter Pruner와 같이 컨볼루션 레이어를 위한 필터 프루닝 알고리즘을 봤다. 필터 프루닝 알고리즘은 컨볼루션 신경망을 독립적으로 프루닝한다. 그리고, 컨볼루션 레이어를 프루닝하는 동안 알고리즘은 각 규칙(예: L1-norm)에 따라 필터의 중요도를 계산하고 덜 중요한 필터를 프루닝한다. Dependency analysis utils에서 봤던 것처럼 두 개의 컨볼루션 레이어..

Introduction - Reccurent model은 input/output sequence의 심볼 포지션에 따라서 계산을 나눈다. 즉, sequence를 처리하기 위해 t번째 input에 대한 output을 만들기 위해, t번째 input과 (t-1)번째 hidden state를 사용한다. - 이는 학습 시 t번째 hidden state를 얻기 위해 (t-1)번째 hidden state가 필요함을 뜻한다. 즉, 순서대로 계산해야 하는데 이때문에 병렬 처리에 제한이 생긴다. - 더불어 한 sequence 내에서 단어가 멀 경우, 서로간의 정보를 이용하지 못하는 'long-term dependency problem'이 발생한다. 입력 sequence가 짧은 경우 문제가 되지 않지만 긴 sequence를..

콘다가 잘 설치되어있음에도 불구하고 위와 같은 오류가 뜰 때는 다음과 같이 해결 vim ~/.zshrc 으로 들어가서 source ~/.bash_profile 을 .zshrc에 넣고 터미널로 가서 source ~/.zshrc 을 치면 해결

Robust Quantization: One Model to Rule Them All Adaptive Gradient Quantization for Data-Parallel SGD Position-based Scaled Gradient for Model Quantization and Sparse Training AMQ: Automatic Mixed-precision Quantization Based on Hessian Trace FleXOR: Trainable Fractional Quantization Bayesian Bits: Unifying Quantization and Pruning Universally Quantized Neural Compression Hierarchical Quantized A..

Convex Set Affine and Convex Sets Definition of Affine and Convex Sets Line: through $x_{1},x_{2}:$ all points $$x=\theta x_{1}+(1-\theta)x_{2};(\theta \in \mathbb{R})$$ Affine set: contains the line through any two distinct points in the set Example: solution set of linear eqautions ${ \textbf{x} | \textbf{Ax}=\textbf{b} }$ (Conversely, every affine set can be expressed as solution set of syste..

Structured Pruning과 Unstructured Pruning의 한계를 지적하고, 네트워크도 네트워크 아키텍쳐가 중요하듯 필터도 필터 자체의 아키텍쳐가 중요함을 언급하여 Filter Skeleton을 이용한 Pruning Technique을 제안한 논문입니다. Filter Skeleton이라는 아이디어가 돋보입니다.

Sanity-Checking Pruning Methods: Random Tickets can Win the Jackpot Scientific Control for Reliable Neural Network Pruning Pruning Filter in Filter Neuron-level Structured Pruning using Polarization Regularizer Directional Pruning of Deep Neural Networks Storage Efficient and Dynamic Flexible Runtime Channel Pruning via Deep Reinforcement Learning Movement Pruning: Adaptive Sparsity by Fine-Tuni..