[딥러닝]가중치 초기화

[딥러닝]가중치 초기화

1. 가중치 소실 문제

2. 가중치 초기화

3. 가중치 초기화 전략

==============================

 

[딥러닝]가중치 초기화

 

1. 가중치 소실 문제

○ 활성화 함수가 Sigmoid함수일 때, 은닉층의 갯수가 늘어날수록 가중치가 역전파되면서 가중치가 사라지는 문제 발생

- 0~1사이의 값으로 출력되며서 0 또는 1에 가중치값이 퍼짐

- 이는 미분값이 점점 0에 가까워짐을 의미

- ReLU함수 등장(비선형 함수)

 

2. 가중치 초기화

○ 가중치의 값이 일부값으로 치우치게 되면, 활성화 함수를 통과한 값이 치우치게 되고, 표현할 수 있는 신경망의 수가 적어짐.

○ 활성화값이 골고루 분포되는 것이 중요.

 

3. 가중치 초기화 전략

(1) Glorot Initialization(Xavier)

○ 개요

- 은닉층의 노드 수가 n이라면 표준편차가 1/√n인 분포

- 더 많은 가중치에 역전파가 전달 가능하고, 비교적 많은 문제를 표현할 수 있음.

- 활성화함수가 선형인 함수일 때 매우 적합

○ 활성화 함수 : 없음, tanh, sigmoid, softmax

 

(2) He Initialization

○ 개요

- 활성화함수가 비선형인 경우 Glorot초기화로도 기울기 소실문제 발생

- 표준편차가 √(2/n)인 분포

- 활성화값 분포가 균일하게 분포되어 있음.

- 활성화함수가 ReLU와 같은 비선형함수일 때 더 적합하다고 알려진 분포

○ 활성화 함수 : ReLU, LeakyReLU, ELU 등