재호아빠의 연구노트

1. Introduction and Motivations Filter pruning은 선택된 필터를 직접 제거하는 방법과 제거 하지 않고 가중치를 0으로 변경하여 구조는 유지하면서 가중치는 제거하는 방법이 있다. Hard pruning의 문제점을 해결하고자 Soft pruning 방법을 제안한 논문이 등장했다. 이 방법은 “Smaller-norm-less-important”의 기준에 따라 l2-norm값이 작은 필터를 제거하되 완전히 제거하는 것이 아니라 일정 에폭 이후에 가중치를 다시 update한다. 하지만 “Smaller-norm-less-important” 기준에서 중요한 가정이 있다; 1) 필터의 norm 분산이 충분히 커야하고, 2) 제거하고자 하는 norm이 충분히 작아야한다는 점이다. 다시..

1. Introduction and Motivation 일반적으로 데이터가 충분한 상태에서 CNN 모델은 더 넓게, 더 깊게 쌓을수록 성능이 좋다. 다만, 모델이 커짐으로써 연산량 증가가 불가피하다. 이를 해결하고자 CNN 모델의 불필요한 가중치를 제거하는 방법들이 연구되고 있다. 이전 survey 논문에서 언급했다 싶이 다양한 메소드가 존재한다. 본 논문은 그중에서 Filter pruning 방법을 채택하고 있으며, soft pruning 방법을 제시하고 l2-norm을 기준으로 importance를 estimate 한다. 본 논문 이전 연구에서는 Hard filter를 활용한 방법이 많이 활용되었다. 하지만 이 방법에는 (1) 모델 성능저하와 (2) pre-trained 모델에 대한 의존성이라는 두가..

1. Convolutional Neural Network Pruning CNN은 이미지 분야에서 다양하게 활용되고 있는 기본 모델이다. 모델의 성능을 높이기 위해 모델을 깊게 쌓거나 넓게 쌓는 등 크기를 증가 시키는 방향으로 연구가 진행됐다. 하지만 이에 따라서 모델이 학습해야 하는 파라미터 수가 많아졌고, 모바일이나 IoT 디바이스 등 경량 디바이스에서는 활용하기가 어려워졌다. 이를 위해 성능 저하가 최소화할 수 있는 방향에서 모델의 크기를 줄이는 방법이 필요하다. 본 논문에서는 CNN에서 Pruning하는 방법과 학습 Strategy, 그리고 Estimation Criterion에 대해서 설명한다. 2. Pruning Method Pruning Method는 1) Non-Structured Pruni..