일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 | 29 |
30 |
- AI 엔지니어 기초 다지기
- 위기의코딩맨
- AI Tech 준비과정
- AI tech
- Spark MLlib
- tensorflow 예제
- spark
- 연남 맛집
- 부스트캠프 ai tech 준비과정
- TensorFlow
- RDD
- 데이터 시각화
- 홍대 맛집
- DataSet
- kaggle
- Python
- 부스트캠프
- 자연어
- Transformer
- NLP
- mllib
- 서울 맛집
- 연남동 맛집
- Ai
- 캐글
- pycharm
- 맛집
- r
- 부스트클래스
- yolo
- Today
- Total
We-Co
[부스트캠프 AI Tech 준비과정] 7주차 - RNN, Transformer, GAN 본문
안녕하세요. 위기의 코딩맨입니다.
드디어 벌써 마지막 주차가 되었습니다.
처음 시작할때, 열심히 해보자 했는데 점점 갈수록 어려워져서 힘이 들더라구요!
그래도 마지막 주차까지 화이팅 해보겠습니다.
[ 7주차 학습내용 ]
RNN
- Sequential Model : 다음 인풋 데이터를 예측하는 것
- Markov Model : 가정했을때, 현재는 과거 데이터(설정한 과거)를 기반으로 예측, 많은 정보를 버릴수밖에 없음(설정한 과거를 제외하면 버리게됨)
- Latent Autoregressive Model
- Recurrent Neural Network
- Short-term dependencies -과거의 데이터는 미래에 적용되기 어려움
- Long-term dependencies
- 시계열 데이터가 커질수록(중첩) 계산이 계속 늘어남
- Vanishing / Exploding Gradient 계산
- Forget Gate - 어떠한 데이터를 버릴지 결정
- Input Gate - 어떠한 데이터를 올리지 결정
- Update cell - Forget, Input 에서 나온 것을 Update
- Output Gate - 어떠한 데이터를 출력 할지 결정
GRU
- Reset Gate And Update Gate
- Update Gate
- 파라미터가 줄어들어 성능이 향상될 수 있음
Sequential Model 학습에 대한 문제점
- 인덱스가 일정하지 않고 변경되어 들어올경우 연산이 어려움
Transformer
- N개의 단어가 들어와도 한번에 가능
- 하나의 Encoder로 input으로 들어감
- N개의 단어를 N개의 벡터를 찾아서 생성
- self-Attention
- 3개의 Vector : Queries, Keys, Values
- Input -> Embedding -> Queries -> Keys -> Values -> Sore -> Divide By 차원수 -> Softmax -> Softmax X Value ->Sum
- Positional Encoding
생성모델 - Generative Models
- Learning a Generative Model : Generation, Density Estimation, Unsupervised Representation Learning(Feature Learning)
Basic Discrete Distributions
- Bernoulli distribution
- Categorical distribution
- Structure Through Independence : 파라미터를 줄임
- Conditional Independence : 파라미터 개수 2n-1
Auto-regressive Model
- Ordering
NADE ( Neural Autoregressive Density Estimator )
Pixel RNN
Latent Variable Models
AutoEncoder - Generative Model로 볼수있지만 엄밀하게는 아님
Variaational Auto-Encoder
- 목적 : Posterior Distribution (확률분포), Variational을 찾는 것
- Variational Distribution (변분 추론)
ELBO
Adversarial Auto-Encoder
GAN? Generative Adversarial Network
- 한쪽을 높이고 한쪽을 낮추는 등 서로 학습을하며 서로 발전
DCGAN (gan을 이미지로 활용)
Text2Image
CycleGAN (중요)
Progrressive-GAN
이번 주차 강의는 난이도가 좀 있어서 이해하기보단.. 이런것이 있구나 정도로 이해했습니다.
앞으로 독학하거나, 논문을 위주로 많이 봐야겠습니다. ㅎㅎㅎ
이렇게 마지막 주차 강의까지 마무리 했습니다.
이제 과제 2가지 정도가 남아있는데 조금 더 힘내서 마무리 해보도록 하겠습니다.
![](https://t1.daumcdn.net/keditor/emoticon/friends1/large/001.gif)
- 본 포스트의 학습 내용은 부스트클래스 <AI 엔지니어 기초 다지기 : 부스트캠프 AI Tech 준비과정> 강의 내용을 바탕으로 작성되었습니다
'[부스트캠프 AI Tech 준비과정] 2회차' 카테고리의 다른 글
[부스트캠프 AI Tech 준비과정] - 수료 (0) | 2024.06.17 |
---|---|
[부스트캠프 AI Tech 준비과정] 6주차 - 용어정리 (0) | 2024.05.30 |
[부스트캠프 AI Tech 준비과정] - 5주차 인공지능 수학 2 (2) | 2024.05.23 |
[부스트캠프 AI Tech 준비과정] - 4주차 인공지능 수학 (0) | 2024.05.17 |
[부스트캠프 AI Tech 준비과정] - 3주차 (1) | 2024.05.13 |