Orchestration des pipelines TFX

Pipelines Kubeflow

Kubeflow est une plateforme ML open source dédiée à rendre les déploiements de workflows d'apprentissage automatique (ML) sur Kubernetes simples, portables et évolutifs. Kubeflow Pipelines fait partie de la plateforme Kubeflow qui permet la composition et l'exécution de flux de travail reproductibles sur Kubeflow, intégrés à des expériences d'expérimentation et basées sur des notebooks. Les services Kubeflow Pipelines sur Kubernetes incluent le magasin de métadonnées hébergé, le moteur d'orchestration basé sur des conteneurs, le serveur de notebooks et l'interface utilisateur pour aider les utilisateurs à développer, exécuter et gérer des pipelines ML complexes à grande échelle. Le SDK Kubeflow Pipelines permet la création et le partage de composants, de compositions et de pipelines par programmation.

Consultez l' exemple TFX sur Kubeflow Pipelines pour plus de détails sur l'exécution de TFX à grande échelle sur le cloud Google.