딥러닝뽀개기 딥러닝뽀개기

[딥러닝]가중치 초기화 1. 가중치 소실 문제 2. 가중치 초기화 3. 가중치 초기화 전략 ============================== [딥러닝]가중치 초기화 1. 가중치 소실 문제 ○ 활성화 함수가 Sigmoid함수일 때, 은닉층의 갯수가 늘어날수록 가중치가 역전파되면서 가중치가 사라지는 문제 발생 - 0~1사이의 값으로 출력되며서 0 또는 1에 가중치값이 퍼짐 - 이는 미분값이 점점 0에 가까워짐을 의미 - ReLU함수 등장(비선형 함수) 2. 가중치 초기화 ○ 가중치의 값이 일부값으로 치우치게 되면, 활성화 함수를 통과한 값이 치우치게 되고, 표현할 수 있는 신경망의 수가 적어짐. ○ 활성화값이 골고루 분포되는 것이 중요. 3. 가중치 초기화 전략 (1) Glorot Initializat..