TFX 파이프라인 조정

아파치 에어플로우

Apache Airflow는 워크플로를 프로그래밍 방식으로 작성, 예약 및 모니터링하는 플랫폼입니다. TFX는 Airflow를 사용하여 작업의 방향성 비순환 그래프(DAG)로 워크플로를 작성합니다. Airflow 스케줄러는 지정된 종속성을 따르는 동안 작업자 배열에서 작업을 실행합니다. 풍부한 명령줄 유틸리티를 사용하면 DAG에 대한 복잡한 수술을 간단하게 수행할 수 있습니다. 풍부한 사용자 인터페이스를 통해 프로덕션에서 실행 중인 파이프라인을 쉽게 시각화하고, 진행 상황을 모니터링하고, 필요할 때 문제를 해결할 수 있습니다. 워크플로를 코드로 정의하면 유지 관리, 버전 관리, 테스트 및 협업이 더욱 용이해집니다.

Apache Airflow 설치 및 사용에 대한 자세한 내용은 Apache Airflow를 참조하세요.