반응형 airflow catchup1 [We-Co] Airflow Backfill에 대해서 알아보자! 안녕하세요. 위기의 코딩맨입니다.오늘은 Airflow의 Backfill에 대해서 간단하게 알아보도록 하겠습니다. [ Backfill ]Backfill의 주요 기능은연결한 데이터 파이프 라인에서 실행 되지 않았던 작업을다시 실행시켜 공백을 채워주는 기능을 합니다. 예를들면 저번 시간에 올렸던 포스팅에서DAG를 작성하고 일정 기간동안 반복 시켰을 때,중간에 결함이 발생했을 경우, 그 작업을 다시 실행 시킬수 있는 기능이라고 생각해주시면 됩니다. 물론, 전체 파일을 다 가져와서 새로 적용하는 작업에는 필요없고아래 작업에 주로 사용됩니다.데이터 누락이나 결함 발생DAG 변경 이후, 과거 데이터의 재처리초기 데이터 로드데이터 공백 보완그리고 실행하기 위해선 몇가지 실행 조건이 있습니다.start_date, en.. 2024. 11. 7. 이전 1 다음 반응형
