반응형

2019/10 3

MLE (Maximum Likelihood Estimation)

Intro 우리는 흔히 머신러닝 공부를 하다보면 MLE, MAP를 접해보게 될 기회가 많습니다. 다른 기초가 없이 공부를 할 때 MLE, MAP와 같은 것을 접한다면 꽤나 난감합니다. 머신러닝, neural network를 갖고 우리가 원하는 것은 training data를 갖고 그게 DNN, CNN, RNN이든 뭐든간에 적당한 함수를 하나 잘 근사하는 것입니다. 하지만 이걸 확률의 관점으로 본다면 우리는 true probability distribution을 찾는 과정으로 생각을 할 수가 있습니다. 그러면 우린 여기서 이 distribution을 표현하는 parameter를 어떻게 찾을 것인가에 대한 need가 생기는데, 여기서 MLE나 MAP라는 방법론을 사용합니다. MLE 압정을 던졌을 때 압정이 ..

인공지능/Etc 2019.10.12

[NIPS 2015] Learning both Weights and Connections for Efficient Neural Networks

Paper Link : https://arxiv.org/abs/1506.02626 Github : x Introduction 현재 MIT 조교수로 재직중인 Song Han이 Stanford에서 박사과정 중에 쓴 network pruning paper입니다. 그가 제시한 방법은 다음과 같습니다. Strategy 1. Pre-training network 2. Prune weight 3. Fine-tune 4. Iterate 2-3 우선 어떤 weight이 중요한 지 알기 위해 neural network를 training 시킵니다. 그리고 중요하지 않은 weight을 일정 threshold가 넘으면 남겨두고, 넘지 않으면 pruning 시켜줍니다. 그리고 남은 network에 대해서 Fine-tuning을 ..

Model Compression Paper List Read

2019년 목표 50편 정독하기, 10개 Pytorch, tensorflow로 구현해보기(...) 최초 작성 (2019.10.08) 1차 수정 (2019.10.16) 2차 수정 (2019.10.22) 3차 수정 (2019.10.30) 4차 수정 (2019.11.07) 5차 수정 (2019.11.17) 6차 수정 (2019.11.26) 7차 수정 (2019.12.04) 8차 수정 (2019.12.26) 공부한 것 Optimal Brain Damage NIPS 1989 Learning both Weights and Connections for Efficient Neural Networks NIPS 2015 Deep Compression: Comressing Deep Neural Networks with Pr..

반응형