TFX 파이프라인 조정하기

Apache Airflow

Apache Airflow는 워크플로를 프로그래밍 방식으로 작성, 예약 및 모니터링하기 위한 플랫폼입니다. TFX는 Airflow를 사용하여 작업의 DAG(방향성 비순환 그래프)로 워크플로를 작성합니다. Airflow 스케줄러는 지정된 종속성을 따르면서 작업자 배열에서 작업을 실행합니다. 풍부한 명령줄 유틸리티를 이용하면 DAG에서 복잡한 조정을 수행하기가 간편해집니다. 풍부한 사용자 인터페이스에서 프로덕션 환경에서 실행 중인 파이프라인을 쉽게 시각화하고, 진행 상황을 모니터링하며, 필요할 때 문제를 해결할 수 있습니다. 워크플로를 코드로 정의하면 유지 관리, 버전 관리, 테스트 및 공동 작업이 가능해집니다.

Apache Airflow의 설치와 사용에 대한 자세한 내용은 Apache Airflow를 참조하세요.