Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 |
Tags
- yolo
- Python
- kaggle
- spark
- AI tech
- Transformer
- mllib
- AI 엔지니어 기초 다지기
- Spark MLlib
- 부스트캠프 ai tech 준비과정
- 부스트캠프
- Ai
- 자연어
- 부스트클래스
- 연남동 맛집
- 데이터 시각화
- AI Tech 준비과정
- r
- tensorflow 예제
- 연남 맛집
- NLP
- TensorFlow
- DataSet
- 캐글
- 위기의코딩맨
- pycharm
- 서울 맛집
- 홍대 맛집
- RDD
- 맛집
Archives
- Today
- Total
반응형
목록Scaled Dot-Product Attention (1)
반응형
We-Co
[We-Co] Transformer - Tensorflow, NLP
안녕하세요. 위기의 코딩맨입니다. 오늘은 Transformer에 대해서 간단하게 알아보도록 하겠습니다 [ Transformer ] "Attention is all you need"의 제목으로 2017년 구글에서 발표한 모델입니다. 기존의 Seq2Seq의 구조 인코더 - 디코더를 기반으로 하지만, RNN모델을 사용하지 않고 Ateention의 기법을 사용하여 우수한 성능을 보여주는 모델입니다. Transformer의 장점은 - RNN은 순차적의 형태로 출력하지만, 병렬적으로 계산이 가능 - Rnn 스텝이나 Convolution을 켜지 않고 멀리 떨어진 텍스트의 정보들도 서로 영향을 주고 받으며 서로 연관관계를 학습이 가능 Seq2Seq와 같이 왼쪽은 Encoding부분, 오른쪽은 Decoding부분으로 나..
Python/Tensorflow
2022. 2. 6. 17:40