딥러닝 기본 학습 테크닉
Learning Rate, Optimizer, Weight Decay, Early Stopping, Mixed Precision 등 기본 학습 기법을 정리한다.
기본 학습 테크닉 Learning Rate가 중요한 이유 Learning Rate Scheduler 종류 Batch Size를 결정하는 방법 Adam, AdamW, SGD의 차이 Weight Decay란 무엇인가 Early Stopping 사용 방법 Gradient Clipping Gradient Accumulation Mixed Precision Training Checkpoint 저장과 학습 재개 Random Seed와 재현성 Freeze와 Unfreeze Differential Learning Rate Warm-up Exponential Moving Average
COMMENTS
GitHub 계정으로 로그인하여 댓글을 남길 수 있습니다. 댓글은 GitHub Discussions에 공개 저장되며, 작성 내용과 GitHub 프로필 정보가 다른 방문자에게 보일 수 있습니다.