본문 바로가기
반응형

전체 글200

[We-Co] GitHub란?? 안녕하세요. 위기의코딩맨입니다. 오늘은 GitHub에 관해 알아보도록 하겠습니다. 먼저, 간단하게 설명하면 GIt 저장소 호스팅을 지원하는 웹서비스라고 정의하고있습니다. [출처 : https://ko.wikipedia.org/wiki/%EA%B9%83%ED%97%88%EB%B8%8C ] 그렇다면 Git이란 무엇일까요?? 개발자들이 코드를 변경하고, 추가하는 여러 작업들을 조율하고, 변경사항을 추적하는 등 이를 관리하는 분산버전관리 시스템을 의미할 수 있습니다. 또, 여기서 분산버전관리 시스템이란 무엇일까? 소프트웨어 버전 관리를 위한 시스템으로 정의할 수 있습니다. 중요한 점은 중앙 서버에 접속하지 않은 상태에서 코드 작업을 진행할 수 있다는 점입니다. 크게보면, 코드만 관리하는 것이아니고, 프로젝트에 .. 2021. 10. 5.
[We-Co] TensorBoard - 학습과정 시각화, Tensorflow 안녕하세요. 위기의코딩맨입니다. 오늘은 TensorBoard에 관해 간단하게 알아보도록 하겠습니다. TensorFlow로 학습을 진행하면서 Log나 학습과정을 한눈에 알아보기 힘든 문제점이 있었습니다. 이러한 학습과정을 시각화에 도움을 주는 TensorBoard라는 기능이 있습니다. 저는 구글에서 제공하는 Colab을 사용하여 진행했습니다. 해당 이미지와 같이 작업을 진행하면 Epoch이 반복될 때마다 Loss가 감소하는지, 정확도가 증가하는지 등 원하는 값을 찾아가고 있는지 도움을 주는 기능을합니다. TensorBoard에서는 가장 많이 사용되는 3가지의 API를 설명드리겠습니다. - tf.summary.scalar Scalar의 값 형태의 로그를 저장하는 기능을 제공하고 Loss 값이나, 정확도의 값.. 2021. 10. 5.
[We-Co] CNN의 풀링, 컨볼루션 - Tensorflow 안녕하세요. 위기의코딩맨입니다. 오늘은 CNN의 필수 과정인 Convolution Layer, Pooling Layer을 알아보도록 하겠습니다. CNN은 이미지의 특징을 추출해 학습하는 과정을 의미합니다. [ Convolution Layer ] CNN을 풀어서보면 Convolusion Neural Networks를 의미합니다. CNN에서 Convolusion은 아주 중요한 역할을합니다. Convolusion층에서 컨볼루션 연산을 통해서 입력된 이미지의 특징을 추출하는 역할을 진행합니다. 합성곱의 의미를 갖고있는 컨본루션은 커널(Kernel)이나 필터(Filter)로 칭하는 Window Size만큼 X * X의 행렬을 Y*Y 크기의 이미지 행열의 X*X크기 부분과 곱해서 합을 구하는 연산자입니다. 이런 작.. 2021. 10. 4.
[We-Co] Bidirectional RNN 예제 - MDB Movie Review 안녕하세요. 위기의코딩맨입니다. 오늘은 Bidirectional RNN예제를 한번 풀어보도록 하겠습니다. 예제는 MDB에 영화 리뷰를 학습하여 긍정리뷰, 부정 리뷰를 판단하는 학습을 진행하도록 하겠습니다. Bidirectional RNN은 자연어처리에 적합한 구조를 갖고있습니다. "파란 바다에 배가 떠있다"의 문자로 예를 들어보겠습니다. "파란 바다에 O가 떠있다"로 O를 예측하기 위해서는 "파란->"바다"로 O를 유추하는 것보다 "파란"->"바다"-> O Hell 222 ----> o 6306 ----> WE 7974 ----> - 2341 ----> CO 해당 문자열들의 Encoding Data내용과 원래 문자열을 나타냅니다. Buffer_Size = 10000 Batch_Size = 64 Train.. 2021. 10. 2.
[We-Co] Softmax regression MNIST 예제 - Tensorflow 안녕하세요. 위기의코딩맨입니다. 오늘은 지금까지 알아본 지식들로 Tensorflow의 가장 기본적인 예제 MNIST 예제를 풀어보도록 하겠습니다. 그리고 임의로 숫자를 넣어서 해당 숫자를 잘 인식하는지 알아보도록 하겠습니다. [ MNIST ] 먼저 사용할 Tensorflow를 임포트 해줍니다. import tensorflow as tf 먼저 MNIST에 필요한 데이터를 tf.keras.datasets.mnist.load_data()를 통해서 다운받아서 넣어줍니다. x_train, x_test의 타입을 float32 타입으로 변경하고, 해당 28*28의 형태를 갖고 있는 이미지를 784차원으로 Flattening 작업을 진행합니다. 그리고 x_tain, y_test의 [0,255]사이의 값들을 [0, 1].. 2021. 10. 1.
[We-Co] Spark Tokenizer - 문자열나누기 안녕하세요. 위기의코딩맨입니다. 오늘은 Tokenizer에 대해 간단하게 알아보도록 하겠습니다. [ Tokenizer ] 공백 문자를 기준으로하여 입력된 input 문자열을 개별 단어로 나누어 배열로 변환하고 배열을 새로운 컬럼으로 생성하는 트랜스포머입니다. 예제를 통해 알아보도록 하겠습니다. import org.apache.spark.ml.feature.Tokenizer import org.apache.spark.sql.SparkSession Logger.getLogger("org").setLevel(Level.OFF) Logger.getLogger("akka").setLevel(Level.OFF) val spark = SparkSession.builder().appName("Tokenizer").ma.. 2021. 9. 29.
[We-Co] Spark MLlib - Pipeline, Logistic Regression 안녕하세요. 위기의코딩맨입니다. 오늘은 계속해서 Spark MLlib의 Logistic Regression 로지스틱 회귀 알고리즘을 사용해서 간단한 학습을 진행해보겠습니다. 키, 몸무게, 나이 정보를 이용하여 성별을 예측해보는 Pipeline API를 사용하여 예제를 살펴보면서 알아보도록 하겠습니다. 먼저, 언어는 Scala를 사용했으며, IDE는 Eclipse를 사용하여 진행했습니다. [ 예제 ] import org.apache.spark.ml.{Pipeline, PipelineModel} import org.apache.spark.ml.classification.{LogisticRegression, LogisticRegressionModel} import org.apache.spark.ml.featu.. 2021. 9. 28.
[We-Co] Softmax Regression, Cross-Entropy, One-Hot-Encoding - TensorFlow 안녕하세요. 위기의코딩맨입니다. 오늘은 TensorFlow의 소프트맥스 회귀, 크로스엔트로피, 원핫인코딩의 의미에 대해 간단하게 알아보도록 하겠습니다. [ Softmax Regression ] 다중분류를 위한 기법이며, 소프트맥스 회귀기법은 앞에서 알아보았던 Linear Regression에 결과 값에서 Softmax함수를 적용해서 모델의 출력 값을 각각의 확신의 정도로 출력할 수 있도록 만들어주는 기법입니다. 결과 값(logits)을 Softmax함수는 Normalization함수로 결과 값들의 합을 1(확신의 정도)로 변경해줍니다. [ Cross-Entropy ] 분류에 대한 문제에서는 크로스 엔트로피 손실함수도 많이 사용되는데 평균제곱오차, 즉 MSE와 같이 모델의 예측 값이 참값과 비슷하면 작은값.. 2021. 9. 27.
[We-Co] 선형회귀 숫자 예측 - TensorFlow Linear Regression 안녕하세요. 위기의코딩맨입니다. 오늘은 TensorFlow Linear Regression에 대해 알아보도록 하겠습니다. [ Linear Regression ] 간단하게 설명하면 변수들의 사이의 관계를 분석하는데 사용되는 통계학적인 방법을 의미합니다. 학습을 해당 수식으로 표현하는 알고리즘으로, y는 타겟데이터, x는 인풋데이터, W와 b는 파라미터로 진행됩니다. 학습한 가설을 바탕으로 테스트 데이터에 대해서 예측을 할 수 있습니다. 예제를 통해 알아보도록 하겠습니다. import tensorflow as tf #파라미터 설정 차원을 1개로 W = tf.Variable(tf.random.normal(shape=[1])) b = tf.Variable(tf.random.normal(shape=[1])) #L.. 2021. 9. 27.
반응형

티스토리툴바