Điều phối các đường ống TFX

Apache Beam

Một số thành phần TFX dựa vào chùm để xử lý dữ liệu phân tán. Ngoài ra, TFX có thể sử dụng Apache Beam để điều phối và thực thi đường dẫn DAG. Chùm Orchestrator sử dụng khác nhau BeamRunner so với cái được sử dụng để xử lý dữ liệu thành phần. Với mặc định DirectRunner thiết lập các tia Orchestrator thể được sử dụng để gỡ lỗi địa phương mà không phải gánh chịu những phụ Airflow hoặc Kubeflow phụ thuộc, mà đơn giản hoá cấu hình hệ thống.

Xem các ví dụ TFX trên chùm để biết chi tiết.