Deep Compression, Image Compression

Song Han이 제안한 deep compression 방법은 neural network를 pruning > quantization(look-up table) > huffman coding 을 통해 압축하는 방법이다. 그런데, 이 방법이 그냥 경량화 할 수 있는 거 다 때려박은 게 아니라 기존에 있는 걸 그대로 가져다 쓴 거라고 한다.

 

그럼 어디서 쓰였던 거냐면, 이게 image compression에서 쓰이는 방법이랑 똑같다고 한다. Image compression도 총 3단계로 이뤄진다. DCT(Discrete Cosine Transformation) > quantization(look-up table) > huffman coding 이걸 보면 deep compression에서 제안한 방법과 pruning 부분만 다르고 다른 두 단계는 일치한다. (quantization 파트에서 song han은 k-means clustering을 활용하여 quantization을 했는데, image compression에서는 어떻게 quantization을 진행했는지, 모르겠다. 하지만 둘 다 look-up table 방식인 것은 같다.)

 

Song Han이 제안한 pruning은 weight의 abs value에 기반해 threshold pruning을 하는 건데, 쉽게 말해서 큰 건 살리고 작은 건 죽이는 거다. 그런데, Image compression에서 DCT도 image를 푸리에 변환을 통해 주파수 영역으로 바꾼 뒤 작은 주파수는 죽이고 큰 주파수만 남기는 방식으로 압축을 진행했다고 한다. thresholding 했다는 점에서는 똑같다고 생각할 수 있다.

 

Song Han이 pruning을 처음 제안한 "Learning both connection..."에서 thresholding한 건 저기서 analog를 얻은 게 아닐까? 아니면 정말 직관적으로 thresholding했던지..