LR scheduler 추천 : Cosine Annealing Warmup Restarts

이미 예전부터 많은 사람들이 쓰고 있는 LR 스케줄러로, 통상적으로 이런 포맷을 만들 수 있다는 점에서 큰 장점을 가진다.

Pytorch에 공식으로 구현된 CosineAnnealingWarmRestart는 Warmup start가 구현되어 있지 않고 lr 최댓값이 감소하는 방안에 대해서 구현되어 있지 않다고 한다.

 

아래 블로그 링크를 참고하면 친절하신 어느 개발자께서 구현해주신 Custom Cosine AnnealingWarmupRestart를 많이 사용하곤 하는데, 나는 이상하게 저분 코드만 사용하면 기대하는 모습의 lr_scheduler가 나오지 않는다.

(optimzer의 초기 lr을 0로 두고 진행하는데도, 이상하게 아래 이미지 초록색 라인처럼 자꾸 lr이 위로 올라감.)

 

 

https://gaussian37.github.io/dl-pytorch-lr_scheduler/

Pytorch Learning Rate Scheduler (러닝 레이트 스케쥴러) 정리

 

 

그러던 중 발견한 코드가 아래 github이다.

https://github.com/katsura-jp/pytorch-cosine-annealing-with-warmup

이 github으로 pip 설치를 진행하고난 후, lr_scheduler를 진행하면 내가 원하는 모습의 파란 그래프가 나오게 된다.