[부스트캠프 AI Tech 준비과정] 7주차 - RNN, Transformer, GAN

안녕하세요. 위기의 코딩맨입니다.

드디어 벌써 마지막 주차가 되었습니다.

처음 시작할때, 열심히 해보자 했는데 점점 갈수록 어려워져서 힘이 들더라구요!

그래도 마지막 주차까지 화이팅 해보겠습니다.

 

 

[ 7주차 학습내용 ]

RNN 

• Sequential Model  : 다음 인풋 데이터를 예측하는 것

• Markov Model : 가정했을때, 현재는 과거 데이터(설정한 과거)를 기반으로 예측, 많은 정보를 버릴수밖에 없음(설정한 과거를 제외하면 버리게됨)
• Latent Autoregressive Model 

 

• Recurrent Neural Network 

• Short-term dependencies -과거의 데이터는 미래에 적용되기 어려움

• Long-term dependencies

• 시계열 데이터가 커질수록(중첩) 계산이 계속 늘어남
• Vanishing / Exploding Gradient 계산 

1. Forget Gate - 어떠한 데이터를 버릴지 결정
2. Input Gate - 어떠한 데이터를 올리지 결정
3. Update cell - Forget, Input 에서 나온 것을 Update
4. Output Gate - 어떠한 데이터를 출력 할지 결정

GRU

• Reset Gate And Update Gate
• Update Gate
• 파라미터가 줄어들어 성능이 향상될 수 있음

 

Sequential Model 학습에 대한 문제점 

• 인덱스가 일정하지 않고 변경되어 들어올경우 연산이 어려움

Transformer

 

• N개의 단어가 들어와도 한번에 가능
• 하나의 Encoder로 input으로 들어감
• N개의 단어를 N개의 벡터를 찾아서 생성
• self-Attention 
• 3개의 Vector : Queries, Keys, Values 
• Input -> Embedding -> Queries -> Keys -> Values -> Sore -> Divide By 차원수 -> Softmax -> Softmax X Value ->Sum

• Positional Encoding 

생성모델 - Generative Models

• Learning a Generative Model : Generation, Density Estimation, Unsupervised Representation Learning(Feature Learning)

Basic Discrete Distributions

• Bernoulli distribution 

• Categorical distribution 

 

• Structure Through Independence : 파라미터를 줄임
• Conditional Independence : 파라미터 개수 2n-1

Auto-regressive Model

• Ordering 

NADE ( Neural Autoregressive Density Estimator )

 

Pixel RNN

Latent Variable Models

 

AutoEncoder - Generative Model로 볼수있지만 엄밀하게는 아님

 

Variaational Auto-Encoder

• 목적 : Posterior Distribution (확률분포), Variational을 찾는 것
• Variational Distribution (변분 추론)

 

ELBO

Adversarial Auto-Encoder

GAN? Generative Adversarial Network

• 한쪽을 높이고 한쪽을 낮추는 등 서로 학습을하며 서로 발전

 

DCGAN (gan을 이미지로 활용)

Text2Image

CycleGAN (중요)

Progrressive-GAN

 

 

이번 주차 강의는 난이도가 좀 있어서 이해하기보단.. 이런것이 있구나 정도로 이해했습니다.

앞으로 독학하거나, 논문을 위주로 많이 봐야겠습니다. ㅎㅎㅎ

이렇게 마지막 주차 강의까지 마무리 했습니다.

이제 과제 2가지 정도가 남아있는데 조금 더 힘내서 마무리 해보도록 하겠습니다.

 

- 본 포스트의 학습 내용은 부스트클래스 <AI 엔지니어 기초 다지기 : 부스트캠프 AI Tech 준비과정> 강의 내용을 바탕으로 작성되었습니다