Orchestrer les pipelines TFX,Orchestrer les pipelines TFX

Faisceau Apache

Plusieurs composants TFX s'appuient sur Beam pour le traitement distribué des données. De plus, TFX peut utiliser Apache Beam pour orchestrer et exécuter le pipeline DAG. L'orchestrateur de faisceau utilise un BeamRunner différent de celui qui est utilisé pour le traitement des données des composants. Avec la configuration DirectRunner par défaut, l'orchestrateur Beam peut être utilisé pour le débogage local sans encourir les dépendances Airflow ou Kubeflow supplémentaires, ce qui simplifie la configuration du système.

Voir l' exemple TFX sur Beam pour plus de détails.

,

Faisceau Apache

Plusieurs composants TFX s'appuient sur Beam pour le traitement distribué des données. De plus, TFX peut utiliser Apache Beam pour orchestrer et exécuter le pipeline DAG. L'orchestrateur de faisceau utilise un BeamRunner différent de celui qui est utilisé pour le traitement des données des composants. Avec la configuration DirectRunner par défaut, l'orchestrateur Beam peut être utilisé pour le débogage local sans encourir les dépendances Airflow ou Kubeflow supplémentaires, ce qui simplifie la configuration du système.

Voir l' exemple TFX sur Beam pour plus de détails.