Blog

Song Han이 제안한 deep compression 방법은 neural network를 pruning > quantization(look-up table) > huffman coding 을 통해 압축하는 방법이다. 그런데, 이 방법이 그냥 경량화 할 수 있는 거 다 때려박은 게 아니라 기존에 있는 걸 그대로 가져다 쓴 거라고 한다. 그럼 어디서 쓰였던 거냐면, 이게 image compression에서 쓰이는 방법이랑 똑같다고 한다. Image compression도 총 3단계로 이뤄진다. DCT(Discrete Cosine Transformation) > quantization(look-up table) > huffman coding 이걸 보면 deep compression에서 제안한 방법과 prun..

Formalism이 정확하게 있는 것이 아니라 fluctuation을 없애는 분석 방법을 mean-field라고 부른다. 고전적인 사례로는 다음이 있다. 저 논문은 neural network는 다루는 것이 아니라 노드를 하나씩 확률적으로 붙여가는 complex network인데, 그러면 샘플이 다양할 수가 있다. 근데, 매 샘플마다 하나의 example을 보는게 아니라 '평균적인 하나의 네트워크'처럼 보는 것. 그걸 mean-field라고 한다. 예전에 probabilistic method 수업을 들을 때 random graph에서 edge 갯수의 기댓값을 생각해서 하한을 보여서 그래프의 존재성 증명했던 것이 어렴풋이 기억나는데, 이런 sense와도 맞닿은 부분이 있는 것 같다. 통계역학(자유도 6N)에..

스마트베타란 뭘까? 이는 Investopedia에 따르면 패시브 전략과 액티브 전략의 장점을 결합한 포트폴리오 관리 방법이라고 한다. '효율적인 시장 가설'과 '팩터 투자'의 교차점에 위에 있는 방법이라고 한다. 여기서 '효율적인 시장 가설'이라 함은 베타를 말하고, '팩터 투자'라 함은 알파를 이야기한다. '베타'는 특정 벤치마크를 추종(passive)하는 운용 방식이고, 알파는 벤치마크 대비 초과 수익(active)을 얻기 위한 운용 방식이다. 모두가 생각이 다르겠지만, 특정 벤치마크를 초과하는 수익을 내는 것은 누구에게나 매력적인 일이다. 책에서는 여러 연구들에 의하여 이러한 초과 수익이 특정 팩터들에 의해 발생한다는 것이 알려져 있다고 한다. 이 팩터들은 크게 6가지가 있는데 모멘텀, 퀄리티, 사..