반응형 자연어처리2 [We-Co] BERT - 자연어처리, NLP 안녕하세요. 위기의 코딩맨입니다. 오늘은 자연어 처리의 발전에 힘을 실어준 BERT 모델에 대해서 알아보도록 하겠습니다. [ BERT ] Bidirectional Encoder Representations from Transformers를 BERT로 간단하게 부르고 있습니다. 2018년 Google에서 공개한 모델이며, 앞서 언급했듯이 NLP Task에서 최고의 성능을 보여주며 NLP의 발전에 많은 기여를 했습니다. BERT는 Transformer를 이용하여 모델을 구현했으며 대량의 단어 Corpus로 양방향(Bidirectional)으로 학습을 시킨 Pre-Trained 자연어 처리 모델이며, 위키피디아, BooksCorpus에 포함된 레이블이 없는 텍스트 데이터로 훈련된 모델입니다. BERT가 높은 .. 2022. 2. 11. [We-Co] Transformer - Tensorflow, NLP 안녕하세요. 위기의 코딩맨입니다. 오늘은 Transformer에 대해서 간단하게 알아보도록 하겠습니다 [ Transformer ] "Attention is all you need"의 제목으로 2017년 구글에서 발표한 모델입니다. 기존의 Seq2Seq의 구조 인코더 - 디코더를 기반으로 하지만, RNN모델을 사용하지 않고 Ateention의 기법을 사용하여 우수한 성능을 보여주는 모델입니다. Transformer의 장점은 - RNN은 순차적의 형태로 출력하지만, 병렬적으로 계산이 가능 - Rnn 스텝이나 Convolution을 켜지 않고 멀리 떨어진 텍스트의 정보들도 서로 영향을 주고 받으며 서로 연관관계를 학습이 가능 Seq2Seq와 같이 왼쪽은 Encoding부분, 오른쪽은 Decoding부분으로 나.. 2022. 2. 6. 이전 1 다음 반응형
