반응형 Python/Airflow4 [We-Co] Airflow의 Operator에 대해서 알아보자!! 안녕하세요. 위기의 코딩맨입니다.오늘은 Airflow의 Operator에 대해서 간단하게 알아보도록 하겠습니다. Operator는 Airflow의 실행 환경을 설정하고, 개별 작업을 정의하여DAG의 작업 과정에서 중요한 역할을 맡고있습니다!조금 더 자세히 들어가보도록 하겠습니다. [ Operator ]Operator란 간단하게 설명하면Airflow의 DAG 작업을 정의하고 실행하는 단위입니다. 단순하게 Bash로 실행할수 있고, Python 함수, 데이터베이스의 쿼리, 외부 통신 등 다양한 작업을 수행하도록 설계할 수 있습니다. 이러한 작업들이 모여서, 순차적, 병렬적으로 실행하며 워크플로우가 형성이 됩니다.주요 역할에 대해서 알아보도록 하겠습니다.실행 환경 설정 ( Bash, Python.. )DAG의.. 2024. 11. 8. [We-Co] Airflow Backfill에 대해서 알아보자! 안녕하세요. 위기의 코딩맨입니다.오늘은 Airflow의 Backfill에 대해서 간단하게 알아보도록 하겠습니다. [ Backfill ]Backfill의 주요 기능은연결한 데이터 파이프 라인에서 실행 되지 않았던 작업을다시 실행시켜 공백을 채워주는 기능을 합니다. 예를들면 저번 시간에 올렸던 포스팅에서DAG를 작성하고 일정 기간동안 반복 시켰을 때,중간에 결함이 발생했을 경우, 그 작업을 다시 실행 시킬수 있는 기능이라고 생각해주시면 됩니다. 물론, 전체 파일을 다 가져와서 새로 적용하는 작업에는 필요없고아래 작업에 주로 사용됩니다.데이터 누락이나 결함 발생DAG 변경 이후, 과거 데이터의 재처리초기 데이터 로드데이터 공백 보완그리고 실행하기 위해선 몇가지 실행 조건이 있습니다.start_date, en.. 2024. 11. 7. [We-Co] Airflow Dag - Dag 생성 및 적용방법 안녕하세요. 위기의 코딩맨입니다.오늘은 Airflow의 Dag에 대해서 간단하게 알아보고 적용해보도록 하겠습니다~!먼저 Dag가 무엇인지부터 알아보도록 해야겠죠?! [ Dag ]DAG는 Directed Acyclic Graphs를 의미하는 약어를 의미하며방향성 비순환 그래프를 뜻하고 있습니다. 방향성 비순환 그래프가 무슨 의미를 갖고있냐 하면아래 이미지와 같이 방향성을 갖고 Task를 실행하지만 다시 돌아오거나, 다시 실행되지않고정해진 길로만 가는것을 의미합니다. 기본적으로 Task로 구성되어 있으며, 서로 의존성을 갖고 흐름을 형성합니다.실행은 스케줄러에 의해서 실행될수 있으며, 소스에서도 실행을 제어할 수 있습니다.이러한 Dag의 시각적인 표현은Graph 메뉴에서 확인하실 수 있습니다. [ 생성 및.. 2024. 10. 31. [We-Co] Airflow - 설치 및 가상환경 셋팅 with Mac 안녕하세요. 위기의 코딩맨입니다.정말 오랜만에 포스팅을 작성하게 되었는데요~! 오늘은 Airflow 설치를 진행해 보도록 하겠습니다.환경은 mac 기준입니다~![ 가상환경 ]먼저, 가상환경을 만들어봅시다.터미널에서 원하는 폴더로 접근합니다. [ cd 명령어 ]제 컴퓨터는 지금 python3을 사용하고 있으므로 가상환경 코드는python3 -m venv [가상환경이름] EX) python3 -m venv airflow_env 가상환경을 생성했다면 실행을 해야죠~!source [가상환경이름]/bin/activate EX) source airflow_env/bin/activate실행을 진행하게되면 터미널 앞에 (가상환경이름)경로~ % 형태로 변경된 것을 확인하실수 있습니다~! [ Airflow 설치 ]이.. 2024. 10. 30. 이전 1 다음 반응형
