poke_interval1 [We-Co] Airflow Sensor - polling에 대해서 알아보자 안녕하세요. 위기의 코딩맨입니다.오늘은 오랜만에 Airflow 포스팅을 해보도록 하겠습니다~! 오늘은 Sensor에 대해서 공부해보도록 하겠습니다.Sensor에 대해서 공부하면 자연스럽게 따라들어오는 plolling에 대해서도 알아보도록 하겠습니다. [ Sensor ]외부 시스템(S3, DB, API), Airflow(다른 DAG, 태스크)의 특정 조건이 만족할때까지 대기하기 위한 오퍼레이터외부조건 : FileSensor, S3KeySensor, HttpSensor, SqlSensor 내부조건 : ExternalTaskSensor (다른 DAG/태스크가 성공했는지)동작 방식태스크가 워커에 할당 execute() -> poke()poke_interval 만큼 워커 슬롯 점유조건 만족시 종료 or poke.. 2025. 6. 26. 이전 1 다음 반응형
