Ta strona została przetłumaczona przez Cloud Translation API.
Switch to English

Apache Beam i TFX

Apache Beam zapewnia strukturę do uruchamiania zadań przetwarzania danych wsadowych i strumieniowych, które działają w różnych silnikach wykonawczych. Kilka bibliotek TFX używa Beam do wykonywania zadań, co zapewnia wysoki stopień skalowalności w klastrach obliczeniowych. Beam obsługuje różne silniki wykonawcze lub „elementy wykonawcze”, w tym bezpośredni moduł uruchamiający, który działa na jednym węźle obliczeniowym i jest bardzo przydatny przy programowaniu, testowaniu lub małych wdrożeniach. Beam zapewnia warstwę abstrakcji, która umożliwia działanie TFX na dowolnym obsługiwanym programie uruchamiającym bez modyfikacji kodu. TFX używa Beam Python API, więc jest ograniczony do runnerów obsługiwanych przez Python API.

Wdrażanie i skalowalność

Wraz ze wzrostem wymagań dotyczących obciążenia Beam można skalować do bardzo dużych wdrożeń w dużych klastrach obliczeniowych. Jest to ograniczone tylko przez skalowalność bazowego runnera. Uczestnicy w dużych wdrożeniach są zwykle wdrażani w systemie orkiestracji kontenerów, takim jak Kubernetes lub Apache Mesos, w celu zautomatyzowania wdrażania, skalowania i zarządzania aplikacjami.

Zobacz Apache Beam dokumentacji Więcej informacji na temat Apache Beam.