We-Co

안녕하세요. 위기의 코딩맨입니다.오늘은 요즘 엄청난 붐을 일으키고 있는 LLM에 대해서 간단하게 알아보도록 하겠습니다.간단하게 가능하려나..?   [ 정의 ]먼저 LLM의 정의를 알아보도록 하겠습니다.Large Language Model을 약어로 만들어서 LLM으로 간단하게 불리고 있습니다.대형 언어 모델을 의미하며 분야는 NLP 쪽으로 생각하시면 될 것 같습니다.정말 간단하게 정의하자면 텍스트를 인간처럼 이해하도록 설계되어 있는 모델입니다. 무수히 많은 파라미터를 보유하고있으며,  인공 신경망을 구성한 언어적인 모델입니다.요즘 AI 챗봇이나 음성 인식 등 다양한 분야에 사용 되고 있습니다. [ 작동 ]모든 모델이 데이터를 기반으로 학습을 하고 활용하여 작동을 진행합니다.시계열 데이터의 특성을 갖고있는 ..

안녕하세요. 위기의코딩맨입니다. 제 블로그에서 SOTA를 소개하고 확인하는 방법에 대해서 간단하게 설명한 포스팅이 있습니다. 그 포스팅이 꽤나 조회수가 나오더라구요. ㅎㅎ 궁금하신 분들은 아래 포스팅을 확인해주세요! [We-Co] SOTA - 이것이 무엇인고! 안녕하세요. 위기의 코딩맨입니다. 저번에 AI 모델 순위를 확인할 수 있는 사이트 papers with code 사용법에 대해서 소개해드렸는데요! 많이 사용되는 데이터셋의 순위, 해당 분야에서의 SOTA에 대해 we-co.tistory.com 그래서 오늘은 2024년 3월 기준, 현재 몇가지 분야가 있으며, 그 분야의 Best Model을 확인해보겠습니다. 그리고 SOTA 선정의 기준은 Dataset과 연구 목적에 따라 다르지만, 성능지표, 효율성..

안녕하세요. 위기의 코딩맨입니다. 요즘 핫한 챗지피티와 바드의 차이점을 간단하게 알아보도록 하겠습니다. 먼저, 간단하게 NLP의 개념을 알아야합니다. NLP [We-Co] NLP - 자연어 의미, 자연어 처리안녕하세요. 위기의 코딩맨입니다. 오늘은 간단하게 머신러닝의 NLP에 대해서 간단하게 알아보도록 하겠습니다. 저도 NLP에 매력을 느껴서 머신러닝 독학을 시작했습니다. [ NLP ] 사람이 평소 사we-co.tistory.com 위의 NLP 개념을 이용하여 다양한 모델이 나와 적용하고 학습하여 ChatGPT와 BARD가 탄생했다고 보시면됩니다. 두개 모두 대규모 언어의 모델이며, 어마어마한 양의 코드 데이터와 텍스트 데이터로 훈련을 진행합니다. 텍스트 생성, 번역 등 다양한 방식으로 질문을 답변하는 ..

안녕하세요. 위기의 코딩맨입니다. 저번에 BERT의 SQuAD Dataset에 대해서 알아보았습니다. SQuAD Dataset [We-Co] SQuAD Dataset - Tensorflow, NLP, Transformer 안녕하세요. 위기의 코딩맨입니다. 오늘은 BERT를 기반으로 사용하는 SQuAD Dataset에 대해서 간단하게 알아보고 구현해보도록 하겠습니다. BERT에 대해서 궁금하시면 BERT [We-Co] BERT - 자연어처리, NLP we-co.tistory.com SQuAD Data는 영어로된 데이터 셋을 갖고있지만 SQuAD Data의 한국어 버전인 KorQuAD 사용하여 질문에 대한 답변을 예측하는 모델을 작성해보도록 하겠습니다. [ KorQuAD ] KorQuAD를 사용하기 앞서서 ..

안녕하세요. 위기의 코딩맨입니다. 오늘은 BERT를 기반으로 사용하는 SQuAD Dataset에 대해서 간단하게 알아보고 구현해보도록 하겠습니다. BERT에 대해서 궁금하시면 BERT [We-Co] BERT - 자연어처리, NLP 안녕하세요. 위기의 코딩맨입니다. 오늘은 자연어 처리의 발전에 힘을 실어준 BERT 모델에 대해서 알아보도록 하겠습니다. [ BERT ] Bidirectional Encoder Representations from Transformers를 BERT로 간단하게.. we-co.tistory.com [ SQuAD Dataset ] Stanford Question Answering Dataset을 SQuAD로 요약하여 부르며 Wikipedia와 크라우드 워커의 질문으로 구성된 Data..

안녕하세요. 위기의 코딩맨입니다. 오늘은 자연어 처리의 발전에 힘을 실어준 BERT 모델에 대해서 알아보도록 하겠습니다. [ BERT ] Bidirectional Encoder Representations from Transformers를 BERT로 간단하게 부르고 있습니다. 2018년 Google에서 공개한 모델이며, 앞서 언급했듯이 NLP Task에서 최고의 성능을 보여주며 NLP의 발전에 많은 기여를 했습니다. BERT는 Transformer를 이용하여 모델을 구현했으며 대량의 단어 Corpus로 양방향(Bidirectional)으로 학습을 시킨 Pre-Trained 자연어 처리 모델이며, 위키피디아, BooksCorpus에 포함된 레이블이 없는 텍스트 데이터로 훈련된 모델입니다. BERT가 높은 ..

안녕하세요. 위기의코딩맨입니다. 오늘은 포르투갈어를 영어로 변역 Part.2 부분을 알아보도록 하겠습니다. Part.1 [We-Co] Transformer - 포르투갈어를 영어로 변역 Part.1 안녕하세요. 위기의 코딩맨입니다. 오늘은 Tensorflow의 공식 문서와 현재 듣고있는 강의를 토대로 포르투갈어를 영어로 변역하는 모델을 작성해보도록 하겠습니다. https://www.tensorflow.org/text/tutorial we-co.tistory.com 인코더 부분과 디코더 부분에서 실행되는 부분을 알아보도록 하겠습니다. 인코더 부분이 왼쪽, 디코더 부분이 오른쪽 부분으로 생각하시면 됩니다. 인코더레이어 부분 Multi-Head_Attenstion, 포인트 와이즈 피드포워드 네트워크의 흐름을 작..

안녕하세요. 위기의 코딩맨입니다. 오늘은 Tensorflow의 공식 문서와 현재 듣고있는 강의를 토대로 포르투갈어를 영어로 변역하는 모델을 작성해보도록 하겠습니다. https://www.tensorflow.org/text/tutorials/transformer 언어 이해를 위한 변환기 모델 | Text | TensorFlow 도움말 Kaggle에 TensorFlow과 그레이트 배리어 리프 (Great Barrier Reef)를 보호하기 도전에 참여 이 페이지는 Cloud Translation API를 통해 번역되었습니다. Switch to English 언어 이해를 위한 변환기 모델 이 튜 www.tensorflow.org 먼저 사용할 라이브러리를 설치해주도록 합니다. 저는 코랩환경을 사용하기 때문에 앞..