Orquestrando pipelines TFX

Kubeflow Pipelines

Kubeflow é uma plataforma ML open source dedicada a tornar as implantações de aprendizagem de máquina (ML) fluxos de trabalho em Kubernetes simples, portátil e escalável. Kubeflow Pipelines é parte da plataforma Kubeflow que permite a composição e execução de fluxos de trabalho reprodutíveis sobre Kubeflow, integrado com experiências baseadas experimentação e notebook. Os serviços do Kubeflow Pipelines no Kubernetes incluem o repositório de metadados hospedado, mecanismo de orquestração baseado em contêiner, servidor de notebook e interface do usuário para ajudar os usuários a desenvolver, executar e gerenciar pipelines de ML complexos em escala. O SDK do Kubeflow Pipelines permite a criação e o compartilhamento de componentes e composição e de pipelines de forma programática.

Veja o exemplo TFX em Kubeflow Pipelines para obter detalhes sobre a execução de TFX em escala no Google nuvem.