Blog

Neural Network Pruning With Residual-Connection and Limited-Data Multi-Dimensional Pruning: A Unifed Frameworkd for Model Compression HRank: Filter Pruning Using High-Rank Feature Map DMCP: Differentaible Markov Channel Pruning for Neural Networks Structured Compression by Weight Encryption for Unstructured Pruning and Quantization Learning Filter Pruning Criteria for Deep Convolutional Neural N..

Aerosmith 곡 중 가장 좋아하는 거... 썸네일에 타일러 형님 팔뚝이 장난아니다...ㅋㅋㅋㅋㅋ

Epoch: 전체 데이터를 1회 훑어 학습하는 거. Step: 파라미터를 1회 업데이트하는 거. Batch size: Step 1회에 사용되는 데이터 개수. 훈련하고 싶은 데이터가 2048개 있는 경우 Batch size를 32로 잡으면 한 Epoch에 몇 번의 Step이 필요한가? 2048/32 = 64 Step (number_of_data/batch_size=number_of_step) 위의 가정을 그대로 가져오고 100 Epoch 학습을 시킨다면 파라미터는 몇 번 업데이트 되는가? 64*100 = 6400 훈련하고 싶은 데이터가 2048개 있고, Batch size를 16으로 잡고, 10 Epoch 학습을 시키면 파라미터는 몇 번 업데이트 되는가? (2048/16)*10 = 1280 *보통 step..

Paper Link: https://arxiv.org/abs/1909.12579 Introduction 이전 리뷰에서는 Pruned Structure를 어떻게 하면 빠르게 수렴시킬 수 있고, 높은 성능을 낼 수 있을까에 대한 이야기를 하였습니다. "Lottery Ticket Hypothesis(LTH)"이후의 후속 논문들을 살펴보면 대개 Pruned Structure를 어떻게 하면 잘 얻을 수 있을지, 이 Structure는 어떤 성격을 갖고 있는지, 그리고 Winning Ticket은 어떻게 얻을 지와 같은 이야기들을 합니다. 하지만 여기서 필연적으로 '학습'이라는 과정이 필요합니다. 여기서 고민해볼 필요가 있습니다. 과연 '학습'은 Pruned Structure를 얻는 데 있어 꼭 필요한 걸까요? 답..

Create LaTeX tables online – TablesGenerator.comYou can import table data by uploading file in CSV format (Comma Separated Value). Most spreadsheet software, both desktop and online, allows to save tabular data in CSV format — it is usually available in the File menu under the name "Save As..." or "Exwww.tablesgenerator.com레이텍 이용시에 테이블 그려주는 툴이다.상단 테이블에서 아무 텍스트나 치고 generate 누르면 Latex code로 변환해줌.

일단 들어보자

이걸로 아이언 메이든 입덕했다.

Introduction NAS(Network Architecture Search)시에 child network의 성능을 트레이닝없이 추정할 수 있다면 아키텍쳐를 찾는 시간을 줄일 수 있을 것이다. 이에 대한 시도는 크게 두가지가 있었다. 첫 번째는 partial learning curve를 통해 네트워크의 성능을 예측하는 방법, 두 번째는 실험 DB를 통해 예측하는 방법이다. 전자는 특정 네트워크에 대한 partial training을 요구하고, 후자는 미리 많은 네트워크를 트레이닝 시켜둬야 하기 때문에 시간이 오래 걸린다. 본 논문에서는 데이터셋의 difficulty를 예측하여 unseen datasets에 대한 train-less accuracy predictor를 개발하였고, unseen datas..

import torch cpu_tensor = torch.zeros(2,3) device = torch.device("cuda:0") gpu_tensor = cpu_tensor.to(device) print(gpu_tensor) 뭔가 출력되면 GPU를 사용할 수 있다는 뜻이다.