본문 바로가기
반응형

전체 글195

[We-Co] Airflow의 Operator에 대해서 알아보자!! 안녕하세요. 위기의 코딩맨입니다.오늘은 Airflow의 Operator에 대해서 간단하게 알아보도록 하겠습니다. Operator는 Airflow의 실행 환경을 설정하고, 개별 작업을 정의하여DAG의 작업 과정에서 중요한 역할을 맡고있습니다!조금 더 자세히 들어가보도록 하겠습니다. [ Operator ]Operator란 간단하게 설명하면Airflow의 DAG 작업을 정의하고 실행하는 단위입니다. 단순하게 Bash로 실행할수 있고, Python 함수, 데이터베이스의 쿼리, 외부 통신 등 다양한 작업을 수행하도록 설계할 수 있습니다. 이러한 작업들이 모여서, 순차적, 병렬적으로 실행하며 워크플로우가 형성이 됩니다.주요 역할에 대해서 알아보도록 하겠습니다.실행 환경 설정 ( Bash, Python.. )DAG의.. 2024. 11. 8.
[We-Co] Airflow Backfill에 대해서 알아보자! 안녕하세요. 위기의 코딩맨입니다.오늘은 Airflow의 Backfill에  대해서 간단하게 알아보도록 하겠습니다. [ Backfill ]Backfill의 주요 기능은연결한 데이터 파이프 라인에서 실행 되지 않았던 작업을다시 실행시켜 공백을 채워주는 기능을 합니다. 예를들면 저번 시간에 올렸던 포스팅에서DAG를 작성하고 일정 기간동안 반복 시켰을 때,중간에 결함이 발생했을 경우, 그 작업을 다시 실행 시킬수 있는 기능이라고 생각해주시면 됩니다. 물론, 전체 파일을 다 가져와서 새로 적용하는 작업에는 필요없고아래 작업에 주로 사용됩니다.데이터 누락이나 결함 발생DAG 변경 이후, 과거 데이터의 재처리초기 데이터 로드데이터 공백 보완그리고 실행하기 위해선 몇가지 실행 조건이 있습니다.start_date, en.. 2024. 11. 7.
[We-Co] Airflow Dag - Dag 생성 및 적용방법 안녕하세요. 위기의 코딩맨입니다.오늘은 Airflow의 Dag에 대해서 간단하게 알아보고 적용해보도록 하겠습니다~!먼저 Dag가 무엇인지부터 알아보도록 해야겠죠?!  [ Dag ]DAG는 Directed Acyclic Graphs를 의미하는 약어를 의미하며방향성 비순환 그래프를 뜻하고 있습니다. 방향성 비순환 그래프가 무슨 의미를 갖고있냐 하면아래 이미지와 같이 방향성을 갖고 Task를 실행하지만 다시 돌아오거나, 다시 실행되지않고정해진 길로만 가는것을 의미합니다. 기본적으로 Task로 구성되어 있으며, 서로 의존성을 갖고 흐름을 형성합니다.실행은 스케줄러에 의해서 실행될수 있으며, 소스에서도 실행을 제어할 수 있습니다.이러한 Dag의 시각적인 표현은Graph 메뉴에서 확인하실 수 있습니다. [ 생성 및.. 2024. 10. 31.
[We-Co] Airflow - 설치 및 가상환경 셋팅 with Mac 안녕하세요. 위기의 코딩맨입니다.정말 오랜만에 포스팅을 작성하게 되었는데요~! 오늘은 Airflow 설치를 진행해 보도록 하겠습니다.환경은 mac 기준입니다~![ 가상환경 ]먼저, 가상환경을 만들어봅시다.터미널에서  원하는 폴더로 접근합니다. [ cd 명령어 ]제 컴퓨터는 지금 python3을 사용하고 있으므로 가상환경 코드는python3 -m venv [가상환경이름]  EX) python3 -m venv airflow_env  가상환경을 생성했다면 실행을 해야죠~!source [가상환경이름]/bin/activate EX) source airflow_env/bin/activate실행을 진행하게되면 터미널 앞에 (가상환경이름)경로~ % 형태로 변경된 것을 확인하실수 있습니다~! [ Airflow 설치 ]이.. 2024. 10. 30.
[Elasticsearch] Kibana 설치해보자 - 리눅스(Ubuntu), 설치 오류, 설치 방법 안녕하세요. 위기의 코딩맨입니다.오늘은 키바나 설치 방법에 대해서 간단하게 알아보도록 하겠습니다. 우선 키바나는 엘라스틱서치를 사용하면서메모리 등등 시각화하여 볼수있는 아주 편리한 기능을 제공합니다! 시각화된 데이터로 부하가 걸리고있구나~지금 뭐를 하고있구나~ 간단하게 알아볼수 있는것이죠![ Kibana Install ]먼저 엘라스틱서치가 설치되어있는 가정하에진행하도록 하겠습니다. 먼저 엘라스틱 버전을 확인해야합니다.아래 명령어를 입력하면 Json 형식을 받게되는데version -> number 항목의 값이 버전이라고 생각하시면 됩니다.curl -X GET "localhost:9200"Kibana와 버전을 잘 맞춰야된다고 합니다.거의 1:1 기준인것 같더라구요! 아래 명령어를 입력하면 docker ima.. 2024. 8. 8.
[We-Co] 텍스트 유해성 검사하기 - smilegate-ai with Python 안녕하세요. 위기의 코딩맨입니다.오늘은 텍스트 유해성 검사하는 방법을 하나 포스팅해보려  합니다. smilegate ai에서 한글을 기반으로 학습을 진행하여유해성 검사하는 모델을 API 형식으로 사용할 수 있다고 하여사용해 보도록 하겠습니다. 자세한 내용은 아래 홈페이지를 확인해주세요.  smilegate-ai/kor_unsmile · Datasets at Hugging FaceNo dataset card yet New: Create and edit this dataset card directly on the website! Contribute a Dataset Cardhuggingface.co  [ 유해성 검사 ]먼저 사용을 위해 데이터 셋을 받기 위한 작업이 필요합니다.데이터셋을 불러오기 위해 tra.. 2024. 7. 26.
[Gitlab] 변경된 수정사항을 적용해보자! - commit, pull, status 안녕하세요. 위기의 코딩맨입니다.완전 오랜만에 포스팅을 작성하는군요!일도 바쁘고, 자격증 공부도하고~ 아주 바쁜 생활을 하고있답니다. 오늘은 Gitlab에 변경된 소스를 적용하는 방법을 알려드리도록 하겠습니다.아주 실무적으로 많이 사용되는 부분입니다.VSCode에서 적용하는 방법과 커맨드 상태에서 적용하는 방법을 알려드리도록 하겠습니다. [VSCode]먼저 연결된 프로젝트를 VSCode에서 확인해보시면소스제어에서 변경사항 항목들이 쭈욱 리스트 형태로 나열되어있습니다. 변경사항 목록중에 적용하고 싶은 리스트를 선택하여 오른쪽 버튼을 클릭하고변경 내용 스테이징이라는 항목을 선택해주세요! 그럼 이렇게 스테이징된 변경사항 항목에 추가됩니다.여러 항목을 동시에 선택해서 추가하면 다함께 추가됩니다! 이제 변경 내용.. 2024. 7. 24.
[기초수학] 통계 기초를 알아보자! - 이항분포, 정규분포 안녕하세요. 위기의 코딩맨입니다.오랜만에 기초수학 포스팅을 작성해보려 합니다.점점 수학적인 부분이 중요해져서... 공부를 하는데 너무 어렵네!! [ 기초 수학 ] 이항분포 - 확률 P가 n 번의 시도 중,  k번이 성공할 수 있는 가능성함수는 scipy의 binom.pmf()를 사용해서 구현가능Ex) binom.pmf(k,n,p)  베타분포 - a(알파)번의 성공과 b(베타)번의 실패가 주어졌을 때, 사건이 발생할 수 있는 다양한 기본 확률의 가능성함수는 scipy의. teta.cdf() 함수를 사용해서 구현 가능, 90% 확률 a번의. 성공과 b번의 실패의 데이터Ex)Beta.cdf(0.90, a,b) 모집단 - 연구하고자 하는 특정 그룹표본 - 모집단의 하위 집합을 의미하며, 무작위하고 편향적이지 않.. 2024. 6. 24.
[부스트캠프 AI Tech 준비과정] - 수료 안녕하세요. 위기의 코딩맨입니다.6월 11일자로 강의가 종료되었고 얼마전에 수료증까지 나왔습니다.강의 내용은 기초적인 부분이 대부분이었고,현업에서 뛰고 계시는 분들이 코치를 맡아서 해주셨습니다. [ 후기 ]처음 목표였던, 내가 공부를 잘하고 있는가? 라는 질문에선 그래도 엇나가지는 않았구나! 느낌이 들었습니다.그렇지만 조금 더 깊게 생각해야되고, 공부해야할 부분도 많구나..부족한 부분이 엄청나게 많구나 생각이 들었습니다. 앞으로 수학적인 부분을 조금 신경써야 될것 같습니다.또한, 이 분야에 많은 분들이 목표를 갖고 공부를 아주 열심히 하고 있구나! 라는 것을 많이 느끼게 되었습니다. 저 또한, 앞으로 더 지식을 쌓아 나아가며, 조금 더 좋은 필드에서 일할 수 있는 환경을 만들어야 겠습니다. 흐흐그리고 수.. 2024. 6. 17.
반응형

티스토리툴바