Ta strona została przetłumaczona przez Cloud Translation API.
Switch to English

Podręcznik użytkownika TFX

Wprowadzenie

TFX to platforma uczenia maszynowego (ML) na skalę produkcyjną firmy Google, oparta na TensorFlow. Zapewnia strukturę konfiguracyjną i biblioteki współdzielone do integracji wspólnych komponentów potrzebnych do definiowania, uruchamiania i monitorowania systemu uczenia maszynowego.

Instalacja

Pyton PyPI

pip install tfx

O TFX

TFX to platforma do budowania przepływów pracy ML i zarządzania nimi w środowisku produkcyjnym. TFX zapewnia:

  • Zestaw narzędzi do budowy rurociągów ML. Potoki TFX umożliwiają organizowanie przepływu pracy ML na kilku platformach, takich jak: Apache Airflow, Apache Beam i Kubeflow Pipelines.

    Dowiedz się więcej o potokach TFX .

  • Zestaw standardowych składników, których można używać jako części potoku lub jako część skryptu szkoleniowego ML. Standardowe komponenty TFX zapewniają sprawdzoną funkcjonalność, która ułatwia rozpoczęcie tworzenia procesu ML.

    Dowiedz się więcej o standardowych komponentach TFX .

  • Biblioteki, które zapewniają podstawową funkcjonalność dla wielu standardowych komponentów. Możesz użyć bibliotek TFX, aby dodać tę funkcjonalność do swoich własnych komponentów lub używać ich oddzielnie.

    Dowiedz się więcej o bibliotekach TFX .

TFX to zestaw narzędzi do uczenia maszynowego Google na skalę produkcyjną, oparty na TensorFlow. Zapewnia strukturę konfiguracyjną i biblioteki współdzielone do integracji wspólnych komponentów potrzebnych do definiowania, uruchamiania i monitorowania systemu uczenia maszynowego.

Standardowe komponenty TFX

Potok TFX to sekwencja składników, które implementują potok ML, który jest specjalnie zaprojektowany do skalowalnych zadań uczenia maszynowego o wysokiej wydajności. Obejmuje to modelowanie, szkolenie, obsługę wnioskowania i zarządzanie wdrożeniami w celach online, natywnych dla urządzeń mobilnych i JavaScript.

Potok TFX zazwyczaj zawiera następujące składniki:

  • ExampleGen jest początkowym składnikiem wejściowym potoku, który pozyskuje i opcjonalnie dzieli wejściowy zestaw danych.

  • StatisticsGen oblicza statystyki dla zbioru danych.

  • SchemaGen sprawdza statystyki i tworzy schemat danych.

  • ExampleValidator szuka anomalii i brakujących wartości w zbiorze danych.

  • Transform wykonuje inżynierię funkcji na zbiorze danych.

  • Trener trenuje model.

  • Tuner dostraja hiperparametry modelu.

  • Ewaluator przeprowadza dogłębną analizę wyników szkolenia i pomaga zweryfikować wyeksportowane modele, zapewniając, że są one „wystarczająco dobre”, aby można je było wykorzystać do produkcji.

  • InfraValidator sprawdza, czy model jest rzeczywiście obsługiwany z infrastruktury i zapobiega wypychaniu złego modelu.

  • Pusher wdraża model w infrastrukturze obsługującej.

  • BulkInferrer wykonuje przetwarzanie wsadowe na modelu z nieoznaczonymi żądaniami wnioskowania.

Ten diagram ilustruje przepływ danych między tymi komponentami:

Przepływ komponentów

Biblioteki TFX

TFX zawiera zarówno biblioteki, jak i składniki potoku. Ten diagram ilustruje relacje między bibliotekami TFX a składnikami potoku:

Biblioteki i komponenty

TFX udostępnia kilka pakietów Pythona, które są bibliotekami używanymi do tworzenia składników potoku. Będziesz używać tych bibliotek do tworzenia składników potoków, aby kod mógł skupić się na unikalnych aspektach potoku.

Biblioteki TFX obejmują:

  • TensorFlow Data Validation (TFDV) to biblioteka do analizy i walidacji danych uczenia maszynowego. Został zaprojektowany tak, aby był wysoce skalowalny i dobrze współpracował z TensorFlow i TFX. TFDV obejmuje:

    • Skalowalne obliczenia statystyk podsumowujących dane treningowe i testowe.
    • Integracja z przeglądarką dla dystrybucji danych i statystyk, a także fasetowe porównywanie par zbiorów danych (Facets).

    • Automatyczne generowanie schematów danych w celu opisania oczekiwań dotyczących danych, takich jak wymagane wartości, zakresy i słowniki.

    • Przeglądarka schematów, która pomoże Ci sprawdzić schemat.

    • Wykrywanie anomalii w celu identyfikacji anomalii, takich jak brakujące funkcje, wartości poza zakresem lub niewłaściwe typy funkcji, aby wymienić tylko kilka.

    • Przeglądarka anomalii, dzięki której możesz zobaczyć, które funkcje mają anomalie i dowiedzieć się więcej, aby je poprawić.

  • TensorFlow Transform (TFT) to biblioteka do wstępnego przetwarzania danych za pomocą TensorFlow. Transformacja TensorFlow jest przydatna w przypadku danych wymagających pełnego przebiegu, takich jak:

    • Normalizuj wartość wejściową za pomocą średniej i odchylenia standardowego.
    • Konwertuj ciągi na liczby całkowite, generując słownik dla wszystkich wartości wejściowych.
    • Konwertuj liczby zmiennoprzecinkowe na liczby całkowite, przypisując je do zasobników na podstawie obserwowanego rozkładu danych.
  • TensorFlow służy do trenowania modeli z TFX. Pozyskuje dane szkoleniowe i kod modelowania oraz tworzy wynik SavedModel. Integruje również potok inżynieryjny funkcji stworzony przez TensorFlow Transform w celu wstępnego przetwarzania danych wejściowych.

    KerasTuner służy do dostrajania hiperparametrów modelu.

  • TensorFlow Model Analysis (TFMA) to biblioteka do oceny modeli TensorFlow. Jest używany wraz z TensorFlow do tworzenia EvalSavedModel, który staje się podstawą jego analizy. Umożliwia użytkownikom ocenę swoich modeli na dużych ilościach danych w sposób rozproszony, przy użyciu tych samych metryk zdefiniowanych w trenerze. Te metryki można obliczyć na różnych wycinkach danych i wizualizować w notatnikach Jupyter.

  • TensorFlow Metadata (TFMD) zapewnia standardowe reprezentacje metadanych, które są przydatne podczas szkolenia modeli uczenia maszynowego za pomocą TensorFlow. Metadane mogą być tworzone ręcznie lub automatycznie podczas analizy danych wejściowych i mogą być wykorzystywane do walidacji, eksploracji i transformacji danych. Formaty serializacji metadanych obejmują:

    • Schemat opisujący dane tabelaryczne (np. Tf.Examples).
    • Zbiór zbiorczych statystyk dotyczących takich zbiorów danych.
  • ML Metadata (MLMD) to biblioteka służąca do rejestrowania i pobierania metadanych związanych z przepływami pracy deweloperów i naukowców danych ML. Najczęściej metadane wykorzystują reprezentacje TFMD. MLMD zarządza trwałością za pomocą SQL-Lite , MySQL i innych podobnych magazynów danych.

Technologie pomocnicze

wymagany

  • Apache Beam to ujednolicony model typu open source do definiowania zarówno wsadowych, jak i strumieniowych potoków przetwarzania równoległego danych. TFX używa Apache Beam do implementacji potoków równoległych do danych. Potok jest następnie wykonywany przez jeden z obsługiwanych przez Beam zaplecza przetwarzania rozproszonego, który obejmuje Apache Flink, Apache Spark, Google Cloud Dataflow i inne.

Opcjonalny

Koordynatorzy, tacy jak Apache Airflow i Kubeflow, ułatwiają konfigurowanie, obsługę, monitorowanie i konserwację potoku ML.

  • Apache Airflow to platforma do programowego tworzenia, planowania i monitorowania przepływów pracy. TFX wykorzystuje Airflow do tworzenia przepływów pracy jako skierowanych acyklicznych wykresów (DAG) zadań. Harmonogram przepływu powietrza wykonuje zadania na tablicy pracowników, przestrzegając określonych zależności. Bogate narzędzia wiersza poleceń sprawiają, że wykonywanie złożonych operacji na DAG jest bardzo proste. Bogaty interfejs użytkownika ułatwia wizualizację potoków działających w środowisku produkcyjnym, monitorowanie postępu i rozwiązywanie problemów w razie potrzeby. Gdy przepływy pracy są zdefiniowane jako kod, stają się łatwiejsze w utrzymaniu, wersjonowalności, testowalności i współpracy.

  • Kubeflow jest zaangażowany w tworzenie prostych, przenośnych i skalowalnych wdrożeń przepływów pracy uczenia maszynowego (ML) na Kubernetes. Celem Kubeflow nie jest odtworzenie innych usług, ale zapewnienie prostego sposobu wdrażania najlepszych w swojej klasie systemów open source dla ML w różnych infrastrukturach. Kubeflow Pipelines umożliwiają komponowanie i wykonywanie powtarzalnych przepływów pracy w Kubeflow, zintegrowane z doświadczeniami opartymi na eksperymentach i notebookach. Usługi Kubeflow Pipelines na platformie Kubernetes obejmują hostowany magazyn metadanych, mechanizm orkiestracji oparty na kontenerach, serwer notebooków i interfejs użytkownika, które pomagają użytkownikom opracowywać i uruchamiać złożone potoki ML na dużą skalę i zarządzać nimi. Zestaw Kubeflow Pipelines SDK umożliwia programowe tworzenie i udostępnianie komponentów i kompozycji potoków.

Przenośność i interoperacyjność

TFX jest przeznaczony do przenoszenia w wielu środowiskach i strukturach orkiestracji, w tym Apache Airflow , Apache Beam i Kubeflow . Można go również przenosić na różne platformy komputerowe, w tym lokalne, oraz platformy chmurowe, takie jak Google Cloud Platform (GCP) . W szczególności TFX współpracuje z usługami GCP zarządzanymi przez serwer, takimi jak Cloud AI Platform for Training and Prediction oraz Cloud Dataflow do rozproszonego przetwarzania danych w kilku innych aspektach cyklu życia ML.

Model a SavedModel

Model

Model jest wynikiem procesu szkolenia. Jest to serializowany zapis ciężarów, których nauczyliśmy się podczas procesu szkolenia. Te wagi mogą być następnie używane do obliczania prognoz dla nowych przykładów wejściowych. W przypadku TFX i TensorFlow „model” odnosi się do punktów kontrolnych zawierających wagi wyuczone do tego momentu.

Zauważ, że „model” może również odnosić się do definicji wykresu obliczeniowego TensorFlow (tj. Pliku Pythona), który wyraża sposób obliczenia prognozy. Te dwa zmysły mogą być używane zamiennie w zależności od kontekstu.

SavedModel

  • Co to jest SavedModel : uniwersalna, neutralna językowo, hermetyczna, odtwarzalna serializacja modelu TensorFlow.
  • Dlaczego jest to ważne : umożliwia systemom wyższego poziomu tworzenie, przekształcanie i używanie modeli TensorFlow przy użyciu jednej abstrakcji.

SavedModel to zalecany format serializacji do obsługi modelu TensorFlow w środowisku produkcyjnym lub eksportowania wytrenowanego modelu dla natywnej aplikacji mobilnej lub aplikacji JavaScript. Na przykład, aby przekształcić model w usługę REST w celu tworzenia prognoz, można serializować model jako SavedModel i udostępniać go za pomocą usługi TensorFlow Serving. Aby uzyskać więcej informacji, zobacz Obsługa modelu TensorFlow .

Schemat

Niektóre komponenty TFX używają opisu danych wejściowych zwanego schematem . Schemat jest instancją schema.proto . Schematy są rodzajem bufora protokołu , bardziej ogólnie znanym jako „protobuf”. Schemat może określać typy danych dla wartości funkcji, czy funkcja musi być obecna we wszystkich przykładach, dozwolone zakresy wartości i inne właściwości. Jedną z zalet korzystania z TensorFlow Data Validation (TFDV) jest to, że automatycznie generuje schemat na podstawie typów, kategorii i zakresów na podstawie danych szkoleniowych.

Oto fragment prototypu schematu:

...
feature {
  name: "age"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
feature {
  name: "capital-gain"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
...

Ze schematu korzystają następujące komponenty:

  • Walidacja danych TensorFlow
  • Transformacja TensorFlow

W typowym potoku TFX TensorFlow Data Validation generuje schemat, który jest używany przez inne składniki.

Rozwój z TFX

TFX zapewnia potężną platformę dla każdej fazy projektu uczenia maszynowego, od badań, eksperymentów i rozwoju na komputerze lokalnym, po wdrożenie. Aby uniknąć duplikowania kodu i wyeliminować potencjalne pochylenie szkolenia / obsługi , zdecydowanie zaleca się zaimplementowanie potoku TFX zarówno w celu uczenia modelu, jak i wdrażania wytrenowanych modeli, a także używanie składników Transform , które wykorzystują bibliotekę transformacji TensorFlow zarówno do uczenia, jak i wnioskowania. W ten sposób będziesz konsekwentnie używać tego samego kodu do wstępnego przetwarzania i analizy i unikniesz różnic między danymi używanymi do uczenia a danymi wprowadzanymi do wytrenowanych modeli w środowisku produkcyjnym, a także skorzystasz z jednorazowego napisania tego kodu.

Eksploracja danych, wizualizacja i czyszczenie

Eksploracja danych, wizualizacja i czyszczenie

Potoki TFX zwykle rozpoczynają się od składnika ExampleGen , który akceptuje dane wejściowe i formatuje je jako tf.Examples. Często jest to wykonywane po podzieleniu danych na zestawy danych uczących i oceniających, tak aby w rzeczywistości istniały dwie kopie komponentów ExampleGen, po jednym dla szkolenia i oceny. Zwykle następuje po nim składnik StatisticsGen i składnik SchemaGen , które sprawdzają dane i określają schemat danych i statystyki. Schemat i statystyki będą używane przez składnik ExampleValidator , który będzie szukał anomalii, brakujących wartości i nieprawidłowych typów danych w danych. Wszystkie te komponenty wykorzystują możliwości biblioteki TensorFlow Data Validation .

TensorFlow Data Validation (TFDV) to cenne narzędzie podczas wstępnej eksploracji, wizualizacji i czyszczenia zbioru danych. TFDV bada dane i wnioskuje o ich typach, kategoriach i zakresach, a następnie automatycznie pomaga zidentyfikować anomalie i brakujące wartości. Zapewnia również narzędzia do wizualizacji, które mogą pomóc w zbadaniu i zrozumieniu zestawu danych. Po ukończeniu potoku możesz odczytać metadane z MLMD i użyć narzędzi wizualizacji TFDV w notatniku Jupyter do analizy danych.

Po początkowym szkoleniu i wdrożeniu modelu, TFDV może służyć do monitorowania nowych danych z żądań wnioskowania do wdrożonych modeli oraz do wyszukiwania anomalii i / lub dryftu. Jest to szczególnie przydatne w przypadku danych szeregów czasowych, które zmieniają się w czasie w wyniku trendu lub sezonowości, i może pomóc w informowaniu, kiedy występują problemy z danymi lub kiedy trzeba ponownie trenować modele na nowych danych.

Wizualizacja danych

Po zakończeniu pierwszego uruchomienia danych przez sekcję potoku, która korzysta z TFDV (zwykle StatisticsGen, SchemaGen i ExampleValidator), można wizualizować wyniki w notatniku w stylu Jupyter. W przypadku dodatkowych przebiegów można porównać te wyniki podczas wprowadzania korekt, aż dane będą optymalne dla modelu i aplikacji.

Najpierw wykonasz zapytanie o metadane ML (MLMD), aby zlokalizować wyniki tych wykonań tych komponentów, a następnie użyjesz interfejsu API obsługi wizualizacji w TFDV, aby utworzyć wizualizacje w swoim notatniku. Obejmuje to tfdv.load_statistics () i tfdv.visualize_statistics () Korzystając z tej wizualizacji, możesz lepiej zrozumieć charakterystykę swojego zbioru danych i, jeśli to konieczne, zmodyfikować zgodnie z wymaganiami.

Tworzenie i szkolenie modeli

Inżynieria funkcji

Typowy potok TFX będzie zawierał komponent Transform , który będzie wykonywał inżynierię funkcji, wykorzystując możliwości biblioteki TensorFlow Transform (TFT) . Składnik Transform używa schematu utworzonego przez składnik SchemaGen i stosuje transformacje danych w celu tworzenia, łączenia i przekształcania funkcji, które będą używane do trenowania modelu. Czyszczenie brakujących wartości i konwersję typów należy również wykonać w komponencie Transform, jeśli kiedykolwiek istnieje możliwość, że będą one również obecne w danych wysyłanych na potrzeby żądań wnioskowania. Podczas projektowania kodu TensorFlow do uczenia w TFX należy wziąć pod uwagę kilka ważnych kwestii .

Modelowanie i szkolenie

Wynikiem komponentu Transform jest SavedModel, który zostanie zaimportowany i użyty w kodzie modelowania w TensorFlow, podczas komponentu Trainer . Ten SavedModel obejmuje wszystkie transformacje inżynierii danych, które zostały utworzone w składniku Transform, dzięki czemu identyczne transformacje są wykonywane przy użyciu dokładnie tego samego kodu podczas uczenia i wnioskowania. Używając kodu modelowania, w tym SavedModel ze składnika Transform, możesz wykorzystać swoje dane szkoleniowe i ewaluacyjne oraz wytrenować model.

Podczas pracy z modelami opartymi na estymatorze ostatnia sekcja kodu modelowania powinna zapisać model zarówno jako SavedModel, jak i EvalSavedModel. Zapisywanie jako EvalSavedModel zapewnia, że ​​metryki używane w czasie szkolenia są również dostępne podczas oceny (pamiętaj, że nie jest to wymagane w przypadku modeli opartych na keras). Zapisanie EvalSavedModel wymaga zaimportowania biblioteki TensorFlow Model Analysis (TFMA) do komponentu Trainer.

import tensorflow_model_analysis as tfma
...

tfma.export.export_eval_savedmodel(
        estimator=estimator,
        export_dir_base=eval_model_dir,
        eval_input_receiver_fn=receiver_fn)

Opcjonalny komponent Tuner można dodać przed Trainer, aby dostroić hiperparametry (np. Liczbę warstw) dla modelu. Z podanym modelem i przestrzenią poszukiwań hiperparametrów, algorytm strojenia znajdzie najlepsze hiperparametry na podstawie celu.

Analiza i zrozumienie wydajności modelu

Analiza modelu

Po wstępnym opracowaniu i szkoleniu modelu ważne jest, aby przeanalizować i naprawdę zrozumieć wydajność modelu. Typowym TFX rurociąg będzie zawierać oceniającego składnik, który wykorzystuje możliwości na TensorFlow Analiza modelu (TFMA) biblioteki, który dostarcza zestaw narzędzi mocy dla tej fazy rozwoju. Komponent ewaluatora zużywa model, który wyeksportowałeś powyżej i umożliwia określenie listy tfma.SlicingSpec , której można użyć podczas wizualizacji i analizowania wydajności modelu. Każda SlicingSpec definiuje wycinek danych szkoleniowych, które chcesz zbadać, na przykład określone kategorie cech SlicingSpec lub określone zakresy cech liczbowych.

Na przykład byłoby to ważne, aby spróbować zrozumieć skuteczność modelu dla różnych segmentów klientów, które można podzielić według rocznych zakupów, danych geograficznych, grupy wiekowej lub płci. Może to być szczególnie ważne w przypadku zestawów danych z długimi ogonami, w przypadku których wyniki grupy dominującej mogą maskować niedopuszczalną wydajność dla ważnych, ale mniejszych grup. Na przykład Twój model może dobrze działać dla przeciętnych pracowników, ale może zawieść mizernie dla kadry kierowniczej i może być dla Ciebie ważne, aby o tym wiedzieć.

Analiza i wizualizacja modeli

Po zakończeniu pierwszego uruchomienia danych poprzez trenowanie modelu i uruchomienie komponentu Ewaluator (który wykorzystuje TFMA ) na wynikach szkolenia, możesz wizualizować wyniki w notatniku w stylu Jupyter. W przypadku dodatkowych przebiegów można porównać te wyniki podczas dokonywania korekt, aż do uzyskania optymalnych wyników dla modelu i aplikacji.

Najpierw wykonasz zapytanie o metadane ML (MLMD), aby zlokalizować wyniki tych wykonań tych składników, a następnie użyjesz interfejsu API obsługi wizualizacji w TFMA, aby utworzyć wizualizacje w notesie. Obejmuje to tfma.load_eval_results i tfma.view.render_slicing_metrics Korzystając z tej wizualizacji, możesz lepiej zrozumieć charakterystykę swojego modelu i, jeśli to konieczne, zmodyfikować zgodnie z wymaganiami.

Sprawdzanie wydajności modelu

W ramach analizy wydajności modelu możesz chcieć zweryfikować wydajność względem linii bazowej (takiej jak aktualnie obsługujący model). Walidacja modelu jest wykonywana poprzez przekazanie zarówno modelu kandydującego, jak i modelu bazowego do komponentu Ewaluator . Oceniający oblicza metryki (np. AUC, strata) zarówno dla kandydata, jak i linii bazowej wraz z odpowiednim zestawem różnic. Następnie można zastosować progi i wykorzystać je do wprowadzenia modeli do produkcji.

Sprawdzanie, czy model może być obsługiwany

Walidacja w podczerwieni

Przed wdrożeniem wytrenowanego modelu warto sprawdzić, czy model rzeczywiście można obsługiwać w infrastrukturze obsługującej. Jest to szczególnie ważne w środowiskach produkcyjnych, aby zapewnić, że nowo opublikowany model nie przeszkadza systemowi w obsłudze prognoz. Komponent InfraValidator wykona kanaryjne wdrożenie twojego modelu w środowisku piaskownicy i opcjonalnie wyśle ​​prawdziwe żądania, aby sprawdzić, czy twój model działa poprawnie.

Cele wdrożenia

Po opracowaniu i wyszkoleniu modelu, z którego jesteś zadowolony, nadszedł czas, aby wdrożyć go w co najmniej jednym celu wdrożenia, w którym będzie otrzymywał żądania wnioskowania. TFX obsługuje wdrażanie w trzech klasach celów wdrażania. Wytrenowane modele, które zostały wyeksportowane jako SavedModels, można wdrożyć w dowolnym lub wszystkich tych celach wdrożenia.

Przepływ komponentów

Wnioskowanie: udostępnianie TensorFlow

TensorFlow Serving (TFS) to elastyczny, wysokowydajny system obsługujący modele uczenia maszynowego, przeznaczony dla środowisk produkcyjnych. Zużywa SavedModel i akceptuje żądania wnioskowania przez interfejsy REST lub gRPC. Działa jako zestaw procesów na co najmniej jednym serwerze sieciowym, używając jednej z kilku zaawansowanych architektur do obsługi synchronizacji i obliczeń rozproszonych. Zobacz dokumentację TFS, aby uzyskać więcej informacji na temat opracowywania i wdrażania rozwiązań TFS.

W typowym potoku SavedModel, który został przeszkolony w komponencie Trainer , byłby najpierw poddawany walidacji w podczerwieni w komponencie InfraValidator . InfraValidator uruchamia serwerowy model TFS, który faktycznie obsługuje SavedModel. Jeśli weryfikacja zakończyła się pomyślnie, składnik Pusher ostatecznie wdroży SavedModel w infrastrukturze TFS. Obejmuje to obsługę wielu wersji i aktualizacji modeli.

Wnioskowanie w natywnych aplikacjach mobilnych i IoT: TensorFlow Lite

TensorFlow Lite to zestaw narzędzi, który ma pomóc programistom w używaniu ich wyszkolonych modeli TensorFlow w natywnych aplikacjach mobilnych i IoT. Korzysta z tych samych SavedModels, co TensorFlow Serving i stosuje optymalizacje, takie jak kwantyzacja i przycinanie, aby zoptymalizować rozmiar i wydajność wynikowych modeli pod kątem wyzwań związanych z uruchamianiem na urządzeniach mobilnych i IoT. Więcej informacji na temat korzystania z TensorFlow Lite można znaleźć w dokumentacji TensorFlow Lite.

Wnioskowanie w JavaScript: TensorFlow JS

TensorFlow JS to biblioteka JavaScript do szkolenia i wdrażania modeli ML w przeglądarce i na Node.js. Korzysta z tych samych SavedModels, co TensorFlow Serving i TensorFlow Lite i konwertuje je do formatu internetowego TensorFlow.js. Więcej informacji na temat korzystania z TensorFlow JS można znaleźć w dokumentacji TensorFlow JS.

Tworzenie rurociągu TFX z przepływem powietrza

Sprawdź szczegóły warsztatu przepływu powietrza

Tworzenie potoku TFX za pomocą Kubeflow

Ustawiać

Kubeflow wymaga klastra Kubernetes do uruchamiania potoków na dużą skalę. Zobacz wytyczne dotyczące wdrażania Kubeflow, które przedstawiają opcje wdrażania klastra Kubeflow.

Skonfiguruj i uruchom potok TFX

Postępuj zgodnie z samouczkiem TFX on Cloud AI Platform Pipeline, aby uruchomić przykładowy potok TFX w Kubeflow. Komponenty TFX zostały umieszczone w kontenerze, aby skomponować potok Kubeflow, a przykład ilustruje możliwość skonfigurowania potoku do odczytu dużego publicznego zbioru danych i wykonywania etapów szkolenia i przetwarzania danych na dużą skalę w chmurze.

Interfejs wiersza poleceń dla działań potoku

TFX zapewnia ujednolicony interfejs CLI, który pomaga wykonywać pełny zakres działań potoków, takich jak tworzenie, aktualizowanie, uruchamianie, wyświetlanie i usuwanie potoków w różnych koordynatorach, w tym Apache Airflow, Apache Beam i Kubeflow. Aby uzyskać szczegółowe informacje, postępuj zgodnie z tymi instrukcjami .