Blog

MetaPruning: Meta Learning for Automatic Neural Network Channel Pruning Accelerate CNN via Recursive Bayesian Pruning Adversarial Robustness vs. Model Compression on, or Both?

Collaborative Channel Pruning for Deep Networks Approximated Oracle Filter Pruning for Destructive CNN Width Optimization EigenDamage: Structured Pruning in the Kronecker-Factored Eigenbasis LIT: Learned Intermediate Representation Training for Model Compression

Introduction 텐서 계산은 고차원 배열을 계산하는 걸 말한다. GPU에서는 cuDNN이, Intel CPU에서는 MKL이, FPGA에서는 FBLAS가 이를 도와준다. 이들은 모두 사람이 직접 만든 라이브러리다. 그렇기 때문에 알고리즘이 개발되는 것에 비해 느리다는 단점이 있다. 그리고 하드웨어에따라 라이브러리가 각기 다른 것이 있다시피 하드웨어에따라 최적화해줄 수 있는 부분이 다양해지기 때문에 모든 부분을 고려해주기는 힘들다. 그래서 본논문에서는 이를 AutoML을 이용해 다양한 schedule primitives를 fine-tuning해주는 프레임워크인 FlexTensor를 개발했다. Dense tensors에 대해서만 고려하였고, sparse tensor에 대해서는 고려하지 않았다. 경량/가..

This is the story of a girl Who cried a river and drowned the whole world And while she looked so sad in photographs, I abvsolutely lover her. 나인 데이즈의 리드보컬인 존햄슨의 여자친구에 관한 노래인데 프로포즈할 것을 염두에 두고 청혼하려고 만든 거라고 한다 여자친구가 울고 슬퍼보여도 언제나 사랑하겠다고 하는 머 그런 노래

1. CPU 모델명 확인 grep ^'model name' /proc/cpuinfo 2. CPU 코어 전체 개수 grep -c processor /proc/cpuinfo 3. 물리 CPU 수 grep ^processor /proc/cpuinfo | wc -l 4. CPU당 물리 코어 수 grep 'cpu cores' /proc/cpuinfo | tail -1

1. 파이참 톱니바퀴 모양 configuration을 눌러 Prefences를 클릭 2. Default Project 항목의 Project Interpreter를 클릭 3. Project Interpreter에서 톱니바퀴 모양을 클릭하면 Add가 나오는데 클릭 4. SSH Interpreter에서 New server configuration에 있는 Host에 서버 주소, Port에는 포트 번호 입력, Username에는 서버 아이디 입력 5. 비밀번호 입력한 뒤에 서버 내에서 자기가 쓸 인터프리터 클릭 (Anaconda3를 사용하는 경우에는 보통 Anaconda3 > envs > 가상환경 > bin > python 요렇게 드가면 있다.) 여기까지 하면 원격 인터프리터를 파이참에 등록. 6. Create ..

가사를 모르는 상태로 들으면 weezer의 곡들처럼 건강한 가사와 멜로디의 곡이라고 생각할 수 있지만 실제로는 크리스탈 메스와 관련된 마약 이야기를 다루는 곡이다 마약 쩔어서 살아봐라 뭐 이거 개좋으니까 이런 건 아니고 마약 중독되면 안좋으니까 그거 말고 다른 거 좀 하고 살아 츄라이 츄라이 그래서 곡 제목도 semi charmed life인듯 마약할 때는 삶이 charming하겠지만 안할 때는 땅을 파고 들어가니까 마약 안해봐서 진짜 그런지는 모르겠음

Paper Link: https://arxiv.org/abs/1511.05678 분류 모델의 decision boundary가 히든 레이어의 activation간 조합이 아닌, activation boundary의 조합으로 결정된다는 논문. 이후 서울대 최진영 교수님 팀에서 AAAI2019에 퍼블리쉬한 'Knowledge Transfer via Distillation of Activation Boundaries Formed by Hidden Neuron'의 모티브가 됨.

이전에서 스레드 모델 이야기를 했다. 유저 레벨 스레드의 경우, 스레드를 제한없이 만들 수 있다는 등의 이야기를 했는데 스레드를 많이 사용하다보면 이를 생성/제거하는 것이 성능상의 오버헤드가 될 수 있다. 관리를 잘 못해주면 프로그램이 오작동할 수도 있다. 그래서 이를 잘 관리 해주기 위해 implicit threading을 해주는 툴들이 개발됐다. 이 툴들은 스레드 생성/관리를 런타임 라이브러리, 컴파일러를 통해 사용된다. 툴에는 Thread Pool과 OpenMP 두가지가 대표적이다. Thread Pool 서버-클라이언트 시스템에서 스레드를 사용하는 모델이 있다고 생각해보자. 클라이언트가 서버에 리퀘스트를 보내면, 서버는 이를 실행시키기 위해 스레드를 생성하여 리퀘스트를 핸들링할 것이다. 그리고 작업..