반응형 티스토리챌린지2 [We-Co] Airflow의 Operator에 대해서 알아보자!! 안녕하세요. 위기의 코딩맨입니다.오늘은 Airflow의 Operator에 대해서 간단하게 알아보도록 하겠습니다. Operator는 Airflow의 실행 환경을 설정하고, 개별 작업을 정의하여DAG의 작업 과정에서 중요한 역할을 맡고있습니다!조금 더 자세히 들어가보도록 하겠습니다. [ Operator ]Operator란 간단하게 설명하면Airflow의 DAG 작업을 정의하고 실행하는 단위입니다. 단순하게 Bash로 실행할수 있고, Python 함수, 데이터베이스의 쿼리, 외부 통신 등 다양한 작업을 수행하도록 설계할 수 있습니다. 이러한 작업들이 모여서, 순차적, 병렬적으로 실행하며 워크플로우가 형성이 됩니다.주요 역할에 대해서 알아보도록 하겠습니다.실행 환경 설정 ( Bash, Python.. )DAG의.. 2024. 11. 8. [We-Co] Airflow Backfill에 대해서 알아보자! 안녕하세요. 위기의 코딩맨입니다.오늘은 Airflow의 Backfill에 대해서 간단하게 알아보도록 하겠습니다. [ Backfill ]Backfill의 주요 기능은연결한 데이터 파이프 라인에서 실행 되지 않았던 작업을다시 실행시켜 공백을 채워주는 기능을 합니다. 예를들면 저번 시간에 올렸던 포스팅에서DAG를 작성하고 일정 기간동안 반복 시켰을 때,중간에 결함이 발생했을 경우, 그 작업을 다시 실행 시킬수 있는 기능이라고 생각해주시면 됩니다. 물론, 전체 파일을 다 가져와서 새로 적용하는 작업에는 필요없고아래 작업에 주로 사용됩니다.데이터 누락이나 결함 발생DAG 변경 이후, 과거 데이터의 재처리초기 데이터 로드데이터 공백 보완그리고 실행하기 위해선 몇가지 실행 조건이 있습니다.start_date, en.. 2024. 11. 7. 이전 1 다음 반응형
