Paper Link: https://openreview.net/pdf?id=S1gSj0NKvB Introduction 본 논문은 sparse network의 정확도를 회복할 목적으로 fine-tuning 대신 rewinding이라는 기법을 제안한 논문입니다. "Lottery Ticket Hypothesis"를 비롯한 기존 pruning procedure를 지적하는데, lottery ticekt을 다시 살펴보면 이는 다음과 같습니다. 여기서 네번째에 주목하면, sparse network의 weight을 original network의 initialization weight으로 초기화시켜주는데, 이때 수렴속도가 느린 것을 지적합니다. Rewinding 저자들은 pruning이후 weight을 initiali..