[딥러닝]딥러닝 구조 및 학습-레이어

[딥러닝]딥러닝 구조 및 학습-레이어

1. Dense

2. Activation

3. Flatten

4. Input

======================

 

[딥러닝]딥러닝 구조 및 학습-레이어

 

0. 레이어 개요

- 신경망의 핵심 데이터 구조

- 하나 이상의 텐서를 입력받아 하나 이상의 텐서를 출력하는 데이터 처리 모듈

- 상태가 없는 레이어도 있지만, 대부분 가중치(weight)라는 레이어 상태를 가짐

- 가중치는 확률적 경사하강법에 의해 학습되는 하나 이상의 텐서

- 케라스에서 사용되는 주요 레이어 : Dense, Activation, Flatten, Input

 

1. Dense

- 완전연결계층(Fully-Connected Layer)

- 노드수(유닛수), 활성화 함수(activation) 등을 지정

Dense(10, activation='softmax')

- name을 통해 레이어간 구분 가능

Dense(10, activation='relu', name='Dense Layer')

- 가중치 초기화(kernel_initializer)

Dense(10, kernel_initializer='he_normal', name='Dense Layer')

※  가중치 초기화

- 신경망의 성능에 큰 영향을 주는 요소

- 보통 가중치의 초기값으로 0에 가까운 무작위 값 사용

- 특정 구조의 신경망을 동일한 학습 데이터로 학습시키더라도, 가중치의 초기값에 따라 학습된 신경망의 성능 차이가 날 수 있음.

- 오차역전파 알고리즘은 기본적으로 경사하강법을 사용하기 때문에 최적해가 아닌 지역해에 빠질 가능성이 있음.

- keras에서는 기본적으로 Glorot unform가중치(Xavier 분포 초기화), zeros bias로 초기화

- kernel_initializer 인자를 통해 다른 가중치 초기화 지정 가능

- keras에서 제공하는 가중치 초기화 종류 https://keras.io/api/layers/initializers/

 

2. Activation

- Dense layer에서 미리 활성화 함수를 지정할 수도 있지만, 필요에 따라 별도 레이어를 만들어줄 수 있음.

- keras에서 제공하는 활성화함수 종류 : https://keras.io/ko/activations/

dense = Dense(10, activation='relu', name='Dense Layer')
Activation(dense)

 

3. Flatten

- 배치 크기(또는 데이터 크기)를 제외하고 데이터를 1차원으로 쭉 펼치는 작업

- 예시 : (128, 3, 2, 3) -> (128, 12)

Flatten(input_shape=(128, 3, 2, 2))

 

4. Input

- 모델의 입력을 정의

- shape, dtype을 포함.

- 하나의 모델은 여러 개의 입력을 가질 수 있음

- summary() 메소드를 통해서는 보이지 않음

- plot_model()메소드로 확인 가능

Input(shape=(28, 28), dtype=tf.float32)