반응형 Python/Tensorflow29 [We-Co] NLP의 사용 분야와 용어 - 자연어 처리 안녕하세요. 위기의 코딩맨입니다. 오늘은 NLP - Natural Language Processing의 사용분야와 간단하게 사용하는 용어를 정리해보도록 하겠습니다. NLP의 간단한 정리를 알고 싶으시면 다음 링크를 확인해주세요! NLP의 간단한 정리 [We-Co] NLP - 자연어 의미, 자연어 처리 안녕하세요. 위기의 코딩맨입니다. 오늘은 간단하게 머신러닝의 NLP에 대해서 간단하게 알아보도록 하겠습니다. 저도 NLP에 매력을 느껴서 머신러닝 독학을 시작했습니다. [ NLP ] 사람이 평소 사 we-co.tistory.com [ Machine Translation ] 하나의 언어를 다른 언어로 번역하는 영역을 의미합니다. 물론 지금도 번역하는 솔루션들은 많이 존재하고 있습니다. 그러나 Machine T.. 2022. 1. 28. [We-Co] Tensorflow Object Detection API, Faster-R-CNN 안녕하세요. 위기의 코딩맨입니다. 오늘은 Tensorflow에서 Github로 제공하고 있는 Object Detection API를 사용해보려고 합니다. 기존에 학습시키는데 너무 오래걸리고 환경을 만드는데 너무 오래 걸려서 엄청 힘들었는데... 공부하다 보니 알게된 사실..! Google에서 Tensorflow github를 통해서 이미 학습된 모델을 제공하고 있었습니다.. 물론 다른 디테일 부분을 추가하기 위해서는 별도로 학습을 진행해야 하지만, 이만큼의 발견도 저는 감사합니다! 해당 방식으로 오늘은 Faster-R-CNN예제를 한번 풀어보도록 하겠습니다. 오늘 예제 소스는 https://github.com/JGH94/Tensorflow_Detection_Model_ZOO/blob/main/Tensor.. 2022. 1. 18. [We-Co] NLP - 자연어 의미, 자연어 처리 안녕하세요. 위기의 코딩맨입니다. 오늘은 간단하게 머신러닝의 NLP에 대해서 간단하게 알아보도록 하겠습니다. 저도 NLP에 매력을 느껴서 머신러닝 독학을 시작했습니다. [ NLP ] 사람이 평소 사용하는 말들을 Natural Language(자연어)로 불립니다. Natural Language Processing는 그대로 해석하면 '자연어를 처리하는 분야'를 의미하며, 다양한 자연어 처리하는 분야가 존재하지만, 여기서의 본질은 컴퓨터가 사람의 말을 알아듣고 맞는 행동을 하도록 만들어야하는 것입니다. Markup Language, Programming Language와 같은 컴퓨터 언어가 아닌 사람이 사용하는 언어를 컴퓨터에게 이해시키는 것은 아주 어려운 작업일 것입니다. 예전부터 컴퓨터에게 자연어를 이해시.. 2021. 10. 20. [We-Co] Fine-Tuning - TensorFlow 안녕하세요. 위기의코딩맨입니다. 오늘은 Fine-Turing에 대해 알아보도록 하겠습니다. 전이학습, Transfer Learning이라고 불리기도합니다. 간단하게 설명하면 이미 학습된 Neural Networks 파라미터를 새로운 Task에 맞도록 Fine-Tuning(미세조정)하는 작업을 의미합니다. 예를들면 고양이를 분류하는 CNN 모델에 다른 호랑이나 다른 동물의 분류 학습을 추가할 때 사용됩니다. 새로운 학습을 진행하는 것보다 Fine-Tuning을 사용해서 학습 속도와 정확도를 올릴수 있습니다. Fine-Tuning에서 중요한 점은 어느 지점에서 재학습을 진행할지 환경에 따라 학습을 진행하시면 됩니다. 고양이 분석에서 갑자기 차량 분석을 추가할 때는 모두 학습을 진행해야합니다. 고양이 분석에서.. 2021. 10. 7. [We-Co] CheckpointManager API - TensorFlow 안녕하세요. 위기의코딩맨입니다. 오늘은 Tensorflow의 CheckpointManager API에 대해 알아보도록 하겠습니다. 학습도중에 끊겨버리면 어떻게 될까요..? 이만큼 암울한 일이 없습니다.. 얼마전에 학습을 시키는 도중에 잠깐 인터넷이 끊겼는지 에러가 나더라구요.. 나름 오랜시간 학습을 하고있었는데 다시 처음부터 해야해서 너무 답답했었는데 CheckpointManager API를 이용해서 학습 도중 내용을 저장해서 학습이 중간에 끊겼을때, 다시 학습내용을 가져와서 그 지점부터 학습을 진행을 도와주는 API입니다. 먼저, 사용방법을 알아보도록 하겠습니다. 예제는 CNN에서 사용했던 예제로 확인해보겠습니다. [ 저장 방법 ] 먼저 tf.train.Checkpoint 클래스를 사용하여 사용되는 인.. 2021. 10. 6. [We-Co] TensorBoard - 학습과정 시각화, Tensorflow 안녕하세요. 위기의코딩맨입니다. 오늘은 TensorBoard에 관해 간단하게 알아보도록 하겠습니다. TensorFlow로 학습을 진행하면서 Log나 학습과정을 한눈에 알아보기 힘든 문제점이 있었습니다. 이러한 학습과정을 시각화에 도움을 주는 TensorBoard라는 기능이 있습니다. 저는 구글에서 제공하는 Colab을 사용하여 진행했습니다. 해당 이미지와 같이 작업을 진행하면 Epoch이 반복될 때마다 Loss가 감소하는지, 정확도가 증가하는지 등 원하는 값을 찾아가고 있는지 도움을 주는 기능을합니다. TensorBoard에서는 가장 많이 사용되는 3가지의 API를 설명드리겠습니다. - tf.summary.scalar Scalar의 값 형태의 로그를 저장하는 기능을 제공하고 Loss 값이나, 정확도의 값.. 2021. 10. 5. [We-Co] CNN의 풀링, 컨볼루션 - Tensorflow 안녕하세요. 위기의코딩맨입니다. 오늘은 CNN의 필수 과정인 Convolution Layer, Pooling Layer을 알아보도록 하겠습니다. CNN은 이미지의 특징을 추출해 학습하는 과정을 의미합니다. [ Convolution Layer ] CNN을 풀어서보면 Convolusion Neural Networks를 의미합니다. CNN에서 Convolusion은 아주 중요한 역할을합니다. Convolusion층에서 컨볼루션 연산을 통해서 입력된 이미지의 특징을 추출하는 역할을 진행합니다. 합성곱의 의미를 갖고있는 컨본루션은 커널(Kernel)이나 필터(Filter)로 칭하는 Window Size만큼 X * X의 행렬을 Y*Y 크기의 이미지 행열의 X*X크기 부분과 곱해서 합을 구하는 연산자입니다. 이런 작.. 2021. 10. 4. [We-Co] Bidirectional RNN 예제 - MDB Movie Review 안녕하세요. 위기의코딩맨입니다. 오늘은 Bidirectional RNN예제를 한번 풀어보도록 하겠습니다. 예제는 MDB에 영화 리뷰를 학습하여 긍정리뷰, 부정 리뷰를 판단하는 학습을 진행하도록 하겠습니다. Bidirectional RNN은 자연어처리에 적합한 구조를 갖고있습니다. "파란 바다에 배가 떠있다"의 문자로 예를 들어보겠습니다. "파란 바다에 O가 떠있다"로 O를 예측하기 위해서는 "파란->"바다"로 O를 유추하는 것보다 "파란"->"바다"-> O Hell 222 ----> o 6306 ----> WE 7974 ----> - 2341 ----> CO 해당 문자열들의 Encoding Data내용과 원래 문자열을 나타냅니다. Buffer_Size = 10000 Batch_Size = 64 Train.. 2021. 10. 2. [We-Co] Softmax regression MNIST 예제 - Tensorflow 안녕하세요. 위기의코딩맨입니다. 오늘은 지금까지 알아본 지식들로 Tensorflow의 가장 기본적인 예제 MNIST 예제를 풀어보도록 하겠습니다. 그리고 임의로 숫자를 넣어서 해당 숫자를 잘 인식하는지 알아보도록 하겠습니다. [ MNIST ] 먼저 사용할 Tensorflow를 임포트 해줍니다. import tensorflow as tf 먼저 MNIST에 필요한 데이터를 tf.keras.datasets.mnist.load_data()를 통해서 다운받아서 넣어줍니다. x_train, x_test의 타입을 float32 타입으로 변경하고, 해당 28*28의 형태를 갖고 있는 이미지를 784차원으로 Flattening 작업을 진행합니다. 그리고 x_tain, y_test의 [0,255]사이의 값들을 [0, 1].. 2021. 10. 1. 이전 1 2 3 4 다음 반응형
