We-Co

안녕하세요. 위기의 코딩맨입니다.오늘은 Airflow의 Dag에 대해서 간단하게 알아보고 적용해보도록 하겠습니다~!먼저 Dag가 무엇인지부터 알아보도록 해야겠죠?!  [ Dag ]DAG는 Directed Acyclic Graphs를 의미하는 약어를 의미하며방향성 비순환 그래프를 뜻하고 있습니다. 방향성 비순환 그래프가 무슨 의미를 갖고있냐 하면아래 이미지와 같이 방향성을 갖고 Task를 실행하지만 다시 돌아오거나, 다시 실행되지않고정해진 길로만 가는것을 의미합니다. 기본적으로 Task로 구성되어 있으며, 서로 의존성을 갖고 흐름을 형성합니다.실행은 스케줄러에 의해서 실행될수 있으며, 소스에서도 실행을 제어할 수 있습니다.이러한 Dag의 시각적인 표현은Graph 메뉴에서 확인하실 수 있습니다. [ 생성 및..

안녕하세요. 위기의 코딩맨입니다.정말 오랜만에 포스팅을 작성하게 되었는데요~! 오늘은 Airflow 설치를 진행해 보도록 하겠습니다.환경은 mac 기준입니다~![ 가상환경 ]먼저, 가상환경을 만들어봅시다.터미널에서  원하는 폴더로 접근합니다. [ cd 명령어 ]제 컴퓨터는 지금 python3을 사용하고 있으므로 가상환경 코드는python3 -m venv [가상환경이름]  EX) python3 -m venv airflow_env  가상환경을 생성했다면 실행을 해야죠~!source [가상환경이름]/bin/activate EX) source airflow_env/bin/activate실행을 진행하게되면 터미널 앞에 (가상환경이름)경로~ % 형태로 변경된 것을 확인하실수 있습니다~! [ Airflow 설치 ]이..

안녕하세요. 위기의 코딩맨입니다.오늘은 키바나 설치 방법에 대해서 간단하게 알아보도록 하겠습니다. 우선 키바나는 엘라스틱서치를 사용하면서메모리 등등 시각화하여 볼수있는 아주 편리한 기능을 제공합니다! 시각화된 데이터로 부하가 걸리고있구나~지금 뭐를 하고있구나~ 간단하게 알아볼수 있는것이죠![ Kibana Install ]먼저 엘라스틱서치가 설치되어있는 가정하에진행하도록 하겠습니다. 먼저 엘라스틱 버전을 확인해야합니다.아래 명령어를 입력하면 Json 형식을 받게되는데version -> number 항목의 값이 버전이라고 생각하시면 됩니다.curl -X GET "localhost:9200"Kibana와 버전을 잘 맞춰야된다고 합니다.거의 1:1 기준인것 같더라구요! 아래 명령어를 입력하면 docker ima..

안녕하세요. 위기의 코딩맨입니다.오늘은 텍스트 유해성 검사하는 방법을 하나 포스팅해보려  합니다. smilegate ai에서 한글을 기반으로 학습을 진행하여유해성 검사하는 모델을 API 형식으로 사용할 수 있다고 하여사용해 보도록 하겠습니다. 자세한 내용은 아래 홈페이지를 확인해주세요.  smilegate-ai/kor_unsmile · Datasets at Hugging FaceNo dataset card yet New: Create and edit this dataset card directly on the website! Contribute a Dataset Cardhuggingface.co  [ 유해성 검사 ]먼저 사용을 위해 데이터 셋을 받기 위한 작업이 필요합니다.데이터셋을 불러오기 위해 tra..

안녕하세요. 위기의 코딩맨입니다.완전 오랜만에 포스팅을 작성하는군요!일도 바쁘고, 자격증 공부도하고~ 아주 바쁜 생활을 하고있답니다. 오늘은 Gitlab에 변경된 소스를 적용하는 방법을 알려드리도록 하겠습니다.아주 실무적으로 많이 사용되는 부분입니다.VSCode에서 적용하는 방법과 커맨드 상태에서 적용하는 방법을 알려드리도록 하겠습니다. [VSCode]먼저 연결된 프로젝트를 VSCode에서 확인해보시면소스제어에서 변경사항 항목들이 쭈욱 리스트 형태로 나열되어있습니다. 변경사항 목록중에 적용하고 싶은 리스트를 선택하여 오른쪽 버튼을 클릭하고변경 내용 스테이징이라는 항목을 선택해주세요! 그럼 이렇게 스테이징된 변경사항 항목에 추가됩니다.여러 항목을 동시에 선택해서 추가하면 다함께 추가됩니다! 이제 변경 내용..

안녕하세요. 위기의 코딩맨입니다.오랜만에 기초수학 포스팅을 작성해보려 합니다.점점 수학적인 부분이 중요해져서... 공부를 하는데 너무 어렵네!! [ 기초 수학 ] 이항분포 - 확률 P가 n 번의 시도 중,  k번이 성공할 수 있는 가능성함수는 scipy의 binom.pmf()를 사용해서 구현가능Ex) binom.pmf(k,n,p)  베타분포 - a(알파)번의 성공과 b(베타)번의 실패가 주어졌을 때, 사건이 발생할 수 있는 다양한 기본 확률의 가능성함수는 scipy의. teta.cdf() 함수를 사용해서 구현 가능, 90% 확률 a번의. 성공과 b번의 실패의 데이터Ex)Beta.cdf(0.90, a,b) 모집단 - 연구하고자 하는 특정 그룹표본 - 모집단의 하위 집합을 의미하며, 무작위하고 편향적이지 않..

안녕하세요. 위기의 코딩맨입니다.6월 11일자로 강의가 종료되었고 얼마전에 수료증까지 나왔습니다.강의 내용은 기초적인 부분이 대부분이었고,현업에서 뛰고 계시는 분들이 코치를 맡아서 해주셨습니다. [ 후기 ]처음 목표였던, 내가 공부를 잘하고 있는가? 라는 질문에선 그래도 엇나가지는 않았구나! 느낌이 들었습니다.그렇지만 조금 더 깊게 생각해야되고, 공부해야할 부분도 많구나..부족한 부분이 엄청나게 많구나 생각이 들었습니다. 앞으로 수학적인 부분을 조금 신경써야 될것 같습니다.또한, 이 분야에 많은 분들이 목표를 갖고 공부를 아주 열심히 하고 있구나! 라는 것을 많이 느끼게 되었습니다. 저 또한, 앞으로 더 지식을 쌓아 나아가며, 조금 더 좋은 필드에서 일할 수 있는 환경을 만들어야 겠습니다. 흐흐그리고 수..

안녕하세요. 위기의 코딩맨입니다.조금씩 공부를 하면서 수학의 중요성을 다시금 느끼게 되었습니다.어렸을때 공부좀 할걸... 후회만하고 아무것도 안할순 없지.. 이제부터 기초부터 지식을 쌓아보도록 하겠습니다.지금은 아주 기초적으로 의미만 정리하며 공부해보도록 하겠습니다. [ 확률 ] 확률이란? - 어떠한 사건이 일어날 가능성동전을 10번 던져서 앞면이 6번 나올 확률비행기가 결항될 확률가능도 (likehood) - 확률과 비슷하지만, 확률은 아직 일어나지 않은 사건에 대해 예측하지만, 가능도는 이미 발생한 사건의 빈도를 측정하는 것 사건의 발생확률은 0.0 ~ 1.0 사이의 값이여야함 (0~100%) P(X) = 0.6P(notX) = 1.0 - 0.60 = 0.40 확률은 모든 합이 1.0 또는 100%이..