[We-Co] NLP의 사용 분야와 용어 - 자연어 처리

안녕하세요. 위기의 코딩맨입니다.

오늘은 NLP - Natural Language Processing의 사용분야와 간단하게 사용하는 용어를 정리해보도록 하겠습니다.

NLP의 간단한 정리를 알고 싶으시면 다음 링크를 확인해주세요!

 

NLP의 간단한 정리

[We-Co] NLP - 자연어 의미, 자연어 처리

 

[ Machine Translation ]

하나의 언어를 다른 언어로 번역하는 영역을 의미합니다. 물론 지금도 번역하는 솔루션들은 많이 존재하고 있습니다.

그러나 Machine Translation은 사람의 개입 없이 컴퓨터 알고리즘을 통한 번역을 제공하는 것이 목표입니다.

 

말뭉치(corpus)를 학습하여 번역하는 통계기계번역(SMT - Statistical Machine Translation) 

언어의 구조, 문법을 바탕으로 규칙을 통한 번역을 하는 규칙기반기계번역(RBMT - Rule Based MAchine Translation)

최근 가장 주목을 받고 구글, 네이버 파파고 등 많이 도입되고 있는 방식,

사람처럼 반복하며 학습과정을 적용한 인공신경망 기반 기계 번역인 (NMT - Neual Machine Tranlastion) 등이 있습니다.

[출처 :  https://slideplayer.com/slide/9202214/ ]

 

 

 

 

[ Spam Filtering ]

텍스트를 분석하고 학습하여 이메일의 스팸을 분류하는 영역입니다.

 

[출처 : https://www.enigmasoftware.com/how-to-identify-harmful-spam-emails/ ]

 

[ Sentiment Analysis ]

문장의 감정상태를 분석하여 감정 상태를 분류하는 영역이며, 

예를들면 영화 리뷰를 분석하여 긍적적 리뷰인지 부정적 리뷰인지 판단하는 방식이 있습니다.

 

영화리뷰하기

[We-Co] Bidirectional RNN 예제 - MDB Movie Review

또한, 상품리뷰 분석,마케팅 등 다양한 분야에 적용될 수 있습니다.

 

[ Text Summarization ]

장문의 텍스트에 대한 내용을 요약문으로 자동으로 만들어내는 문제 영역입니다.

[출처 : https://arxiv.org/pdf/1705.04304.pdf ]

[ Question Answering ] 

질문을 통해 정답의 텍스트를 반환하는 문제 영역입니다.

사용되는 곳은 챗봇, 고객상담 등에 주로 사용됩니다.

 

[출처 : http://ai.stanford.edu/blog/beyond-local-pattern-matching/ ]

 

 

 

코퍼스(Corpus) - 자연어 처리를 하기 위해서 모아 놓은 텍스트들의 모음을 의미합니다

토큰(Token) - 이렇게 전체 모은 텍스트를 분석하기 위해 단위별로 나눈 것을 의미하며, 상황에 따라 단위가 문장이 될수있고, 단위가 될수 있습니다.

"안녕하세요. 저는 위기의 코딩맨 입니다." -> ["안녕하세요", "저는", "위기의", "코딩맨", "입니다"]

 

GPT, BERT 등 다양한 모델들도 등장하고 사용되고 있습니다.

앞으로 공부해 나가며 알아보도록 하겠습니다.