zz.log

7.6 게이트 순환 신경망(GRU) GRU란? - 게이트 매커니즘이 적용된 RNN 프레임워크의 한 종류 - LSTM보다 간단한 구조 7.6.1 GRU 구조 GRU 구조 = LSTM에서 사용하는 망각 게이트와 입력 게이트를 하나로 합침 + 업데이트 게이트 특징 · 하나의 게이트 컨트롤러가 망각 게이트와 입력 게이트를 모두 제어함 - 게이트 컨트롤러가 1을 출력 → 망각 게이트 open, 입력 게이트 close - 게이트 컨트롤러가 0을 출력 → 망각 게이트 close, 입력 게이트 open ⇒ 이전 기억이 저장될 때마다, 단계별 입력은 삭제됨 //망각 게이트 open = 직전 기억을 메모리에 저장 //입력 게이트 open = 현재 메모리에 새로운 정보를 반영함 · 출력 게이트가 없음 → 전체 상태 벡터가 ..

7.5 LSTM RNN의 단점 : 기울기 소멸 문제(가중치 업데이트 과정에서 1보다 작은 값이 계속 곱해짐 → 기울기가 사라짐) - 해결 : LSTM, GRU 같은 확장된 RNN 방식 사용 7.5.1 LSTM 구조 1. LSTM 순전파 LSTM의 '기울기 소멸 문제' 해결 방법 은닉층의 각 뉴런에 망각 게이트, 입력 게이트, 출력 게이트 추가 A. 망각 게이트 망각 게이트란? 과거 정보를 어느 정도 기억할지 결정함 방법 : ① 과거 정보와 현재 데이터를 입력받음 ② ①에 시그모이드를 취함 ③ ②값 × 과거 정보 ⇒ 시그모이드의 출력이 0이면 과거 정보를 버림(초기화) 1이면 과거 정보를 보존(메모리에 유지) = 입력 값을 이용해서 이전 상태 정보를 현재 메모리에 반영할지 결정 B. 입력 게이트 입력 게이..

7.4 RNN 구조 RNN이란? 은닉층 노드들이 연결되어 이전 단계 정보를 은닉층 노드에 저장할 수 있도록 구성한 신경망 RNN 구조 xt-1에서 ht-1을 얻고 다음 단계에서 ht-1과 xt를 사용 ⇒과거 정보, 현재 정보를 모두 반영 RNN의 입력층, 은닉층, 출력층 + 3개의 가중치(Wxh, Whh, Why) - 위 그림 참고 ①Wxh : 입력층에서 → 은닉층으로 전달되는 가중치 ② Whh : t 시점의 은닉층에서 → t+1 시점의 은닉층으로 전달되는 가중치 ③ Why : 은닉층에서 → 출력층으로 전달되는 가중치 ※ 3개의 가중치는 모든 시점에서 동일함(= 같은 값의 가중치를 공유) t단계에서의 RNN 계산 1. 은닉층 - 계산을 위해 xt, ht-1이 필요 //xt :입력값, ht-1 : 이전 은..

7.1 시계열 문제 시계열 분석이란? 특정 대상의 시간에 따라 변하는 데이터를 사용하여 추이를 분석하는 것 → 추세 파악 · 향후 전망 예측용 예) 주가/환율 변동, 기온/습도 변화 시계열 형태 데이터 분류 시계열 형태 데이터 설명 불규칙 변동 시간에 따른 규칙적인 움직임과 달리, 어떤 규칙성이 없어 예측 불가능 & 우연적으로 발생하는 변동 예) 전쟁, 홍수, 화재, 지진, 파업 추세 변동 시계열 자료가 갖는 장기적인 변화 추세 추세 : 장기간에 걸쳐, 지속적으로 증가·감소하거나, 일정한 상태를 유지하려는 성향 → 짧은 기간 동안엔 추세 변동을 찾기 어려움 예) 국내총생산(GDP), 인구증가율 순환 변동 2~3년 정도의 일정한 기간을 주기로, 순환적으로 나타나는 변동 1년 이내 주기로 곡선을 그리며 추세..

6.3 이미지 분할을 위한 신경망 이미지 분할이란? 신경망을 훈련시켜 이미지를 픽셀 단위로 분할하는 것(이후 이미지에 포함된 객체를 추출) 이미지 분할의 대표적 네트워크 완전 합성곱 네트워크, 합성곱 & 역합성곱 네트워크, U-Net, PSPNet, DeepLabv3/DeepLabv3+ 6.3.1 완전 합성곱 네트워크 완전연결층의 한계 고정된 크기의 입력만 받아들임 완전연결층을 거친 후에는 위치 정보가 사라짐 ⇒ 해결 : 완전연결층을 1×1 합성곱으로 대체함 = 완전 합성곱 네트워크 완전 합성곱 네트워크란? CNN 기반 모델(이미지 분류에서 우수한 성능, AlexNet, VGG16, GoogLeNet)을 변형 → 이미지 분할에 적합하도록 만든 네트워크 예) AlexNet의 하단에서 사용되었던 완전연결층 ..

6.2 객체 인식을 위한 신경망 객체 인식이란? 이미지나 영상 내에 있는 객체를 식별하는 컴퓨터 비전 기술 → 이미지 · 영상 내에 있는 객체가 무엇인지 분류 & 그 객체의 위치가 어디인지 박스로 나타내는 위치 검출 딥러닝을 이용한 객체 인식 알고리즘 : 1단계 객체 인식, 2단계 객체 인식으로 나눌 수 있음 1단계 객체 인식 : 분류와 위치 검출 문제를 동시에 행하는 방법(빠르고 낮은 정확도) - YOLO, SSD 계열 2단계 객체 인식 : 두 문제를 순차적으로 행하는 방법(느리고 높은 정확도) - R-CNN 계열 6.2.1 R-CNN 예전의 객체 인식 알고리즘 - 슬라이딩 윈도우 방식 : 이미지의 객체를 탐색하고자 이미지 왼쪽 상단부터 일정 크기의 경계 상자(윈도우)를 만들고 그 안에서 객체를 탐색하..

6.1.3 VGGNet 등장 배경 : 합성곱층의 파라미터 개수를 줄이고, 훈련 시간 개선을 위해 VGG16 네트워크의 구조적 세부 사항 * 모든 합성곱 커널의 크기 : 3×3 * 모든 최대 풀링 커널 크기 : 2×2 + 스트라이드 : 2 VGGNet16 구조 상세 층 유형 특성 맵 크기 커널 크기 스트라이드 활성화 함수 이미지 1 224×224 – – – 합성곱층 64 224×224 3×3 1 렐루(ReLU) 합성곱층 64 224×224 3×3 1 렐루(ReLU) 최대 풀링층 64 112×112 2×2 2 – 합성곱층 128 112×112 3×3 1 렐루(ReLU) 합성곱층 128 112×112 3×3 1 렐루(ReLU) 최대 풀링층 128 56×56 2×2 2 – 합성곱층 256 56×56 3×3 1 ..

복습 - CNN 구조(3차원 구조) * 이미지를 다루므로 기본적으로 3차원 데이터(너비, 높이, 깊이)를 다룸 AlexNet 구성 : 합성곱층 5개 + 완전연결층 3개 //맨 마지막 완전연결층 : 카테고리 1,000개로 분류(소프트맥스 활성화 함수 사용) 특징 : GPU 2개를 기반으로 한 병렬 구조(⇒ 연산 속도가 빨라짐) AlexNet의 합성곱층에서 사용된 활성화 함수 : 렐루 각 계층의 구조적 세부 사항 입력 : 227×227×3 크기의 RGB 이미지 출력 : 각 클래스(혹은 카테고리)에 해당하는 1000×1 확률 벡터 계층 유형 특성 맵 크기 커널 크기 스트라이드 활성화 함수 이미지 1 227×227 – – – 합성곱층 96 55×55 11×11 4 렐루(ReLU) 최대 풀링층 96 27×27 3..

6.1 이미지 분류를 위한 신경망 입력 데이터로 '이미지'를 사용한 분류 : 특정 대상이 영상 내에 존재하는지 판단 - 이미지 분류에서 주로 사용되는 합성곱 신경망 유형 : LeNet-5, AlexNet, VGGNet, GoogLeNet, ResNet 6.1.1 LeNet-5 합성곱과 풀링(다운 샘플링)을 반복적으로 거치며 마지막 완전연결층에서 분류 수행 C1 : 5×5 합성곱 연산 → 28×28 크기의 특성맵 6개 생성 S2 : 다운샘플링 → 특성 맵 크기를 14×14로 줄임 C3 : 5×5 합성곱 연산 → 10×10 크기의 특성맵 16개 생성 S4: 다운 샘플링 → 특성 맵 크기를 5×5로 줄임 C5 : 5×5 합성곱 연산 → 1×1 크기의 특성맵 120개 생성 F6 : 완전연결층. C5의 결과를 u..

5.5 그래프 합성곱 네트워크 5.5.1 그래프란? 방향성이 있거나 없는 edge로 연결된 node(verticals)의 집합 node, edge : 풀고자 하는 문제에 대한 전문가 지식/직관으로 구성됨 노드(node, vertex) : 그림에서 원, 즉 원소 엣지(edge) : 두 노드를 연결한 선, 즉 결합 방법(single, double, triple, aromatic) 5.5.2 그래프 신경망 그래프 신경망이란? 그래프 구조에서 사용하는 신경망 그래프 데이터 표현 단계 1단계. 인접 행렬 - 그림에서 왼쪽 네트워크를 노드 n개를 n×n 행렬로 표현 - 인접 행렬 내의 값 : ‘Aij는 i와 j의 관련성 여부’를 만족하는 값으로 채움 ∴ 인접 행렬 과정 = 컴퓨터가 이해하기 쉽게 그래프로 표현하는 ..