일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 | 31 |
- 연남 맛집
- Spark MLlib
- 데이터 시각화
- kaggle
- AI 엔지니어 기초 다지기
- 서울 맛집
- RDD
- 자연어
- 부스트클래스
- 홍대 맛집
- 연남동 맛집
- mllib
- 맛집
- pycharm
- TensorFlow
- Python
- 캐글
- Ai
- 부스트캠프
- spark
- r
- Transformer
- AI tech
- NLP
- DataSet
- tensorflow 예제
- AI Tech 준비과정
- 부스트캠프 ai tech 준비과정
- 위기의코딩맨
- yolo
- Today
- Total
목록Python (60)
We-Co
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/OSGBD/btrg4JHwJ3E/baHjuJSKK4JZkpbz8SMNv0/img.png)
안녕하세요. 위기의코딩맨입니다. 오늘은 Tensorflow의 CheckpointManager API에 대해 알아보도록 하겠습니다. 학습도중에 끊겨버리면 어떻게 될까요..? 이만큼 암울한 일이 없습니다.. 얼마전에 학습을 시키는 도중에 잠깐 인터넷이 끊겼는지 에러가 나더라구요.. 나름 오랜시간 학습을 하고있었는데 다시 처음부터 해야해서 너무 답답했었는데 CheckpointManager API를 이용해서 학습 도중 내용을 저장해서 학습이 중간에 끊겼을때, 다시 학습내용을 가져와서 그 지점부터 학습을 진행을 도와주는 API입니다. 먼저, 사용방법을 알아보도록 하겠습니다. 예제는 CNN에서 사용했던 예제로 확인해보겠습니다. [ 저장 방법 ] 먼저 tf.train.Checkpoint 클래스를 사용하여 사용되는 인..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/bq6jFh/btrgUpoXb7R/9XptFkhDhxn8lPPQ7WGxF1/img.png)
안녕하세요. 위기의코딩맨입니다. 오늘은 TensorBoard에 관해 간단하게 알아보도록 하겠습니다. TensorFlow로 학습을 진행하면서 Log나 학습과정을 한눈에 알아보기 힘든 문제점이 있었습니다. 이러한 학습과정을 시각화에 도움을 주는 TensorBoard라는 기능이 있습니다. 저는 구글에서 제공하는 Colab을 사용하여 진행했습니다. 해당 이미지와 같이 작업을 진행하면 Epoch이 반복될 때마다 Loss가 감소하는지, 정확도가 증가하는지 등 원하는 값을 찾아가고 있는지 도움을 주는 기능을합니다. TensorBoard에서는 가장 많이 사용되는 3가지의 API를 설명드리겠습니다. - tf.summary.scalar Scalar의 값 형태의 로그를 저장하는 기능을 제공하고 Loss 값이나, 정확도의 값..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/Sdp0K/btrgB5lOC3q/2YS9nJ88W7fMrT8oAsKKgK/img.png)
안녕하세요. 위기의코딩맨입니다. 오늘은 CNN의 필수 과정인 Convolution Layer, Pooling Layer을 알아보도록 하겠습니다. CNN은 이미지의 특징을 추출해 학습하는 과정을 의미합니다. [ Convolution Layer ] CNN을 풀어서보면 Convolusion Neural Networks를 의미합니다. CNN에서 Convolusion은 아주 중요한 역할을합니다. Convolusion층에서 컨볼루션 연산을 통해서 입력된 이미지의 특징을 추출하는 역할을 진행합니다. 합성곱의 의미를 갖고있는 컨본루션은 커널(Kernel)이나 필터(Filter)로 칭하는 Window Size만큼 X * X의 행렬을 Y*Y 크기의 이미지 행열의 X*X크기 부분과 곱해서 합을 구하는 연산자입니다. 이런 작..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/cDMeYa/btrgB3tE7KU/v8M0aqB7dqEtEyDt5lPvD0/img.png)
안녕하세요. 위기의코딩맨입니다. 오늘은 Bidirectional RNN예제를 한번 풀어보도록 하겠습니다. 예제는 MDB에 영화 리뷰를 학습하여 긍정리뷰, 부정 리뷰를 판단하는 학습을 진행하도록 하겠습니다. Bidirectional RNN은 자연어처리에 적합한 구조를 갖고있습니다. "파란 바다에 배가 떠있다"의 문자로 예를 들어보겠습니다. "파란 바다에 O가 떠있다"로 O를 예측하기 위해서는 "파란->"바다"로 O를 유추하는 것보다 "파란"->"바다"-> O Hell 222 ----> o 6306 ----> WE 7974 ----> - 2341 ----> CO 해당 문자열들의 Encoding Data내용과 원래 문자열을 나타냅니다. Buffer_Size = 10000 Batch_Size = 64 Train..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/SNGLb/btrgpLOUEDr/BJYv6FUEJucnqb3K7doQlk/img.png)
안녕하세요. 위기의코딩맨입니다. 오늘은 지금까지 알아본 지식들로 Tensorflow의 가장 기본적인 예제 MNIST 예제를 풀어보도록 하겠습니다. 그리고 임의로 숫자를 넣어서 해당 숫자를 잘 인식하는지 알아보도록 하겠습니다. [ MNIST ] 먼저 사용할 Tensorflow를 임포트 해줍니다. import tensorflow as tf 먼저 MNIST에 필요한 데이터를 tf.keras.datasets.mnist.load_data()를 통해서 다운받아서 넣어줍니다. x_train, x_test의 타입을 float32 타입으로 변경하고, 해당 28*28의 형태를 갖고 있는 이미지를 784차원으로 Flattening 작업을 진행합니다. 그리고 x_tain, y_test의 [0,255]사이의 값들을 [0, 1]..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/Uvlyc/btrf1hNWrbd/MCZ1xgkQbQjh7uhf9xwCV1/img.png)
안녕하세요. 위기의코딩맨입니다. 오늘은 TensorFlow의 소프트맥스 회귀, 크로스엔트로피, 원핫인코딩의 의미에 대해 간단하게 알아보도록 하겠습니다. [ Softmax Regression ] 다중분류를 위한 기법이며, 소프트맥스 회귀기법은 앞에서 알아보았던 Linear Regression에 결과 값에서 Softmax함수를 적용해서 모델의 출력 값을 각각의 확신의 정도로 출력할 수 있도록 만들어주는 기법입니다. 결과 값(logits)을 Softmax함수는 Normalization함수로 결과 값들의 합을 1(확신의 정도)로 변경해줍니다. [ Cross-Entropy ] 분류에 대한 문제에서는 크로스 엔트로피 손실함수도 많이 사용되는데 평균제곱오차, 즉 MSE와 같이 모델의 예측 값이 참값과 비슷하면 작은값..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/A0UDh/btrfWM79RLd/U6okk1oEoSPxqfsrRe696K/img.png)
안녕하세요. 위기의코딩맨입니다. 오늘은 TensorFlow Linear Regression에 대해 알아보도록 하겠습니다. [ Linear Regression ] 간단하게 설명하면 변수들의 사이의 관계를 분석하는데 사용되는 통계학적인 방법을 의미합니다. 학습을 해당 수식으로 표현하는 알고리즘으로, y는 타겟데이터, x는 인풋데이터, W와 b는 파라미터로 진행됩니다. 학습한 가설을 바탕으로 테스트 데이터에 대해서 예측을 할 수 있습니다. 예제를 통해 알아보도록 하겠습니다. import tensorflow as tf #파라미터 설정 차원을 1개로 W = tf.Variable(tf.random.normal(shape=[1])) b = tf.Variable(tf.random.normal(shape=[1])) #L..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/bZa1aR/btrcGkfLD2B/IRtjTKaUFVBaLOPSdzmo50/img.png)
안녕하세요. 위기의코딩맨입니다. 프로그래머스 Level 1단계를 Python언어를 사용하여 모두 풀어보았습니다. Level 1단계 문제를 풀면서 유용하게 사용한 부분을 몇가지 설명해드리려 합니다. [ ‘’.join(list) ] join은 리스트에 있는 데이터들을 하나로 문자열로 만들어 원하는 값을 제공합니다. list_ = ['a','b','c'] print(''.join(list_)) ''는 해당 값들 사이에 구분을 주는 값을 넣으면 됩니다. list_ = ['a','b','c'] print(','.join(list_)) [ lambda ] 원하는 list를 얻기 위해 많이 사용하는데 lambda에 대해 블로그 작성한 것이 있으므로 참고하실 분은 lambda [We-Co] 람다 lambda 안녕하세요..