4장 딥러닝(2) - 딥러닝 알고리즘(심층 신경망, 합성곱 신경망, 순환 신경망, 제한된 볼츠만 머신, 심층 신뢰 신경망)

4.3 딥러닝 알고리즘

딥러닝 알고리즘의 공통점 : 심층 신경망을 사용

목적에 따라 합성곱 신경망(CNN), 순환 신경망(RNN), 제한된 볼츠만 머신(RBM), 심층 신뢰 신경망(DBM)으로 분류됨

 

4.3.1 심층 신경망(DNN)

입력층과 출력층 사이에 다수의 은닉층을 포함하는 인공 신경망

머신러닝과 달리 심층 신경망은 다수의 은닉층을 추가 → 별도의 트릭없이 비선형 분류 가능

//머신러닝은 비선형 분류를 위해 여러 트릭을 사용함

심층 신경망's 다수의 은닉층

장점 : 다양한 비선형적 관계를 학습할 수 있음

단점 : 학습을 위한 연산량이 많음, 기울기 소멸 문제 등이 발생 가능

  → 해결 방법 : 드롭아웃, 렐루 함수, 배치 정규화 등을 적용

심층 신경망

 

4.3.2 합성곱 신경망(Convolutional Neural Network, CNN)

합성곱층과 풀링층을 포함하는 인공 신경망 알고리즘

특징 : 이미지 처리 성능이 좋음 (예 - 영상/사진이 포함된 이미지 데이터에서 객체를 탐색, 객체 위치 찾기)

        + 이미지에서 객체, 얼굴, 장면을 인식하기 위한 패턴을 찾는데 특히 유용

기존 신경망과 비교했을 때 합성곱 신경망의 차별성

• 각 층의 입출력 형상을 유지함
• 이미지의 공간 정보를 유지하면서, 인접 이미지와 차이가 있는 특징을 효과적으로 인식
• 복수 필터로 이미지의 특징을 추출, 학습
• 추출한 이미지의 특징을 수집, 강화하는 풀링층有
• 필터를 공유 파라미터로 사용 → 일반 인공 신경망과 비교했을 때, 학습 파라미터가 매우 적음

 

 

4.3.3 순환 신경망(Recurrent Neural Network,RNN)

시계열 데이터(음악, 영상 등)같은 시간 흐름에 따라 변화하는 데이터를 학습하기 위한 인공 신경망

순환 : 현재 결과가 이전 결과와 연관이 있음

특징

• 시간성을 가진 데이터가 많음
• 시간성 정보를 이용해 데이터의 특성을 잘 다룸
• 시간에 따라 내용이 변하므로, 데이터는 동적이고 길이가 가변적
• 자연어 처리 분야와 맞음  예) 언어 모델링, 텍스트 생성, 자동 번역(기계 번역), 음성 인식, 이미지 캡션 생성 등

단점 : 기울기 소멸 문제로 학습이 제대로 안됨 (→ LSTM이 해결방법으로 많이 사용됨)

순환 신경망

 

4.3.4 제한된 볼츠만 머신(Restricted Boltzmann Machine, RBM)

볼츠만 머신 = 가시층 + 은닉층으로 구성된 모델

제한된 볼츠만 머신 : 가시층은 은닉층과만 연결됨(가시층↔가시층, 은닉층↔은닉층 사이의 연결은 X)

특징

• 차원 감소, 분류, 선형 회귀 분석, 협업 필터링, 특성 값 학습, 주제 모델링에 사용
• 기울기 소멸 문제를 해결하기 위해 사전 학습 용도로 활용 가능
• 심층 신뢰 신경망(DBN)의 요소로 활용됨

 

4.3.4 심층 신뢰 신경망(Deep Belief Network, DBN)

사전 훈련된 볼츠만 머신을 블록처럼 여러 층으로 쌓은 형태로 연결된 신경망

레이블이 없는 데이터에 대한 비지도 학습이 가능

특징

• 순차적으로 심층 신뢰 신경망을 학습시켜 가면서 계층적 구조를 생성
• 비지도 학습으로 학습
• 위로 올라갈 수록 추상적 특성을 추출
• 학습된 가중치를 다층 퍼셉트론의 가중치 초기값으로 사용
• 부분적인 이미지에서 전체를 연상하는 일반화와 추상화 과정을 구현할 때 사용하면 유용

심층 신뢰 신경망의 학습 절차

1. 가시층과 은닉층1의 제한된 볼츠만 머신을 사전 훈련함
2. 첫번째 층 입력 데이터와 파라미터를 고정하여 두번째 층 제한된 볼츠만 머신을 사전 훈련함
3. 원하는 층 개수만큼 제한된 볼츠만 머신을 쌓아올려 전체 심층 신뢰 신경망을 완성함

RBM : 제한된 볼츠만 머신