딥러닝 옵티마이저 경사하강법 확률적경사하강법 네스트로브 모멘텀
-
[딥러닝]옵티마이저1: 확률적 경사하강법(SGD)Fundamental Node 2022. 3. 24. 10:00
1. 확률적 경사하강법(SGD, Stocastic Gradient Decent) 2. 모멘텀(Momentum) 3. 네스트로브(Nestrov) ---------------------------------- [딥러닝]옵티마이저1: 확률적 경사하강법(SGD) 1. 확률적 경사하강법(SGD, Stocastic Gradient Decent) ○ 전체를 한 번에 계산하지 않고, 확률적으로 일부 샘플을 뽑아 조금씩 나누어 학습시키는 과정 - 반복할 때마다 다루는 데이터 수가 적기 때문에 한번 처리하는 속도는 빠름 - 한번 학습할 때 필요한 메모리만 있으면 되므로 매우 큰 데이터셋에 대해서도 학습이 가능 ○ 확률적이기 때문에, 배치 경사하강법(Batch Gradient Decent)보다 불안정 - 손실함수의 최소값에..