We-Co

안녕하세요. 위기의 코딩맨입니다.드디어 벌써 마지막 주차가 되었습니다.처음 시작할때, 열심히 해보자 했는데 점점 갈수록 어려워져서 힘이 들더라구요!그래도 마지막 주차까지 화이팅 해보겠습니다.  [ 7주차 학습내용 ]RNN Sequential Model  : 다음 인풋 데이터를 예측하는 것Markov Model : 가정했을때, 현재는 과거 데이터(설정한 과거)를 기반으로 예측, 많은 정보를 버릴수밖에 없음(설정한 과거를 제외하면 버리게됨)Latent Autoregressive Model  Recurrent Neural Network Short-term dependencies -과거의 데이터는 미래에 적용되기 어려움Long-term dependencies시계열 데이터가 커질수록(중첩) 계산이 계속 늘어남Va..

안녕하세요. 위기의 코딩맨입니다.오늘은 요즘 엄청난 붐을 일으키고 있는 LLM에 대해서 간단하게 알아보도록 하겠습니다.간단하게 가능하려나..?   [ 정의 ]먼저 LLM의 정의를 알아보도록 하겠습니다.Large Language Model을 약어로 만들어서 LLM으로 간단하게 불리고 있습니다.대형 언어 모델을 의미하며 분야는 NLP 쪽으로 생각하시면 될 것 같습니다.정말 간단하게 정의하자면 텍스트를 인간처럼 이해하도록 설계되어 있는 모델입니다. 무수히 많은 파라미터를 보유하고있으며,  인공 신경망을 구성한 언어적인 모델입니다.요즘 AI 챗봇이나 음성 인식 등 다양한 분야에 사용 되고 있습니다. [ 작동 ]모든 모델이 데이터를 기반으로 학습을 하고 활용하여 작동을 진행합니다.시계열 데이터의 특성을 갖고있는 ..

안녕하세요. 위기의 코딩맨입니다. 저번에 BERT의 SQuAD Dataset에 대해서 알아보았습니다. SQuAD Dataset [We-Co] SQuAD Dataset - Tensorflow, NLP, Transformer 안녕하세요. 위기의 코딩맨입니다. 오늘은 BERT를 기반으로 사용하는 SQuAD Dataset에 대해서 간단하게 알아보고 구현해보도록 하겠습니다. BERT에 대해서 궁금하시면 BERT [We-Co] BERT - 자연어처리, NLP we-co.tistory.com SQuAD Data는 영어로된 데이터 셋을 갖고있지만 SQuAD Data의 한국어 버전인 KorQuAD 사용하여 질문에 대한 답변을 예측하는 모델을 작성해보도록 하겠습니다. [ KorQuAD ] KorQuAD를 사용하기 앞서서 ..

안녕하세요. 위기의코딩맨입니다. 오늘은 포르투갈어를 영어로 변역 Part.2 부분을 알아보도록 하겠습니다. Part.1 [We-Co] Transformer - 포르투갈어를 영어로 변역 Part.1 안녕하세요. 위기의 코딩맨입니다. 오늘은 Tensorflow의 공식 문서와 현재 듣고있는 강의를 토대로 포르투갈어를 영어로 변역하는 모델을 작성해보도록 하겠습니다. https://www.tensorflow.org/text/tutorial we-co.tistory.com 인코더 부분과 디코더 부분에서 실행되는 부분을 알아보도록 하겠습니다. 인코더 부분이 왼쪽, 디코더 부분이 오른쪽 부분으로 생각하시면 됩니다. 인코더레이어 부분 Multi-Head_Attenstion, 포인트 와이즈 피드포워드 네트워크의 흐름을 작..

안녕하세요. 위기의 코딩맨입니다. 오늘은 Tensorflow의 공식 문서와 현재 듣고있는 강의를 토대로 포르투갈어를 영어로 변역하는 모델을 작성해보도록 하겠습니다. https://www.tensorflow.org/text/tutorials/transformer 언어 이해를 위한 변환기 모델 | Text | TensorFlow 도움말 Kaggle에 TensorFlow과 그레이트 배리어 리프 (Great Barrier Reef)를 보호하기 도전에 참여 이 페이지는 Cloud Translation API를 통해 번역되었습니다. Switch to English 언어 이해를 위한 변환기 모델 이 튜 www.tensorflow.org 먼저 사용할 라이브러리를 설치해주도록 합니다. 저는 코랩환경을 사용하기 때문에 앞..

안녕하세요. 위기의 코딩맨입니다. 오늘은 Transformer에 대해서 간단하게 알아보도록 하겠습니다 [ Transformer ] "Attention is all you need"의 제목으로 2017년 구글에서 발표한 모델입니다. 기존의 Seq2Seq의 구조 인코더 - 디코더를 기반으로 하지만, RNN모델을 사용하지 않고 Ateention의 기법을 사용하여 우수한 성능을 보여주는 모델입니다. Transformer의 장점은 - RNN은 순차적의 형태로 출력하지만, 병렬적으로 계산이 가능 - Rnn 스텝이나 Convolution을 켜지 않고 멀리 떨어진 텍스트의 정보들도 서로 영향을 주고 받으며 서로 연관관계를 학습이 가능 Seq2Seq와 같이 왼쪽은 Encoding부분, 오른쪽은 Decoding부분으로 나..

안녕하세요. 위기의코딩맨입니다. 오늘은 MLlib의 파이프라인에 대해 간단하게 알아보도록 하겠습니다. [ PipeLine ] 데이터를 수집하고, 가공, 추출, 적용, 평가, 배포 등 일련의 작업을 반복하며 머신러닝을 수행합니다. 이러한 순차적으로 알고리즘을 실행할 수 있도록 지원하는 고차원 API를 의미합니다. 파이프라인의 API를 사용하기 위해서 알아둬야할 주요 항목들이 존재합니다. - Dataframe : 파이프라인은 RDD가 아닌 Dataframe을사용하며, 다양한 유형의 데이터를 포함할 수 있어 가공이나 변형을 더욱 쉽게 처리할 수 있습니다. - Transformer(트랜스포머) : Spark MLlib의 Tansformer는 org.apache.spark.ml 패키지에 선언된 추상 클래스 Tra..