Data Engineering/Airflow1 [Airflow] Airflow Timeout 설정 이번 글에서는 Airflow에서 Timeout을 설정하는 방법에 대해 간단하게 살펴보고자 합니다. 지난 MLflow Timeout 오류 관련 글을 작성하면서, Airflow에서도 비슷한 경험을 겪었던 것이 생각나 작성하게 되었습니다. 우선 Airflow에 대해 간략하게 설명하면, airbnb에서 만든 워크플로우 관리 툴로 대표적인 스케쥴링 툴 중의 하나입니다. 저 역시도 실무에서 AI 모델 학습과 추론 과정에서 스케쥴링 툴로 사용하고 있습니다. Airflow의 기본적인 Dag 구조는 다음과 같습니다. with DAG (dag_id='test', schedule=None) as dag: t1 = BashOperator( task_id='hello', bash_command='echo "hello"' ) t.. 2023. 10. 19. 이전 1 다음
