Pomoc chronić Wielkiej Rafy Koralowej z TensorFlow na Kaggle Dołącz Wyzwanie

Podręcznik użytkownika TFX

Wstęp

TFX to platforma uczenia maszynowego (ML) na skalę produkcyjną Google oparta na TensorFlow. Zapewnia strukturę konfiguracji i biblioteki współdzielone do integracji wspólnych komponentów potrzebnych do definiowania, uruchamiania i monitorowania systemu uczenia maszynowego.

TFX 1.0

Jesteśmy szczęśliwi mogąc ogłosić dostępność TFX 1.0.0 . Jest to pierwsza wersja TFX po fazie beta, która zapewnia stabilne publiczne interfejsy API i artefakty. Możesz mieć pewność, że Twoje przyszłe rurociągi TFX będzie kontynuować pracę po aktualizacji w zakresie zgodności określonej w niniejszym dokumencie RFC .

Instalacja

PytonPyPI

pip install tfx

Pakiety nocne

TFX gospodarze również nocne pakiety w https://pypi-nightly.tensorflow.org na Google Cloud. Aby zainstalować najnowszy pakiet nightly, użyj następującego polecenia:

pip install -i https://pypi-nightly.tensorflow.org/simple --pre tfx

Spowoduje to zainstalowanie pakietów nocnych dla głównych zależności TFX, takich jak TensorFlow Model Analysis (TFMA), TensorFlow Data Validation (TFDV), TensorFlow Transform (TFT), TFX Basic Shared Libraries (TFX-BSL), ML Metadata (MLMD).

O TFX

TFX to platforma do budowania i zarządzania przepływami pracy ML w środowisku produkcyjnym. TFX zapewnia:

  • Zestaw narzędzi do budowania potoków ML. Potoki TFX umożliwiają organizowanie przepływu pracy ML na kilku platformach, takich jak: Apache Airflow, Apache Beam i Kubeflow Pipelines.

    Dowiedz się więcej o rurociągów TFX .

  • Zestaw standardowych składników, których można używać jako części potoku lub jako część skryptu szkoleniowego ML. Standardowe komponenty TFX zapewniają sprawdzoną funkcjonalność, która pomaga w łatwym rozpoczęciu tworzenia procesu ML.

    Dowiedz się więcej o standardowych TFX komponentów .

  • Biblioteki, które zapewniają podstawową funkcjonalność wielu standardowych komponentów. Możesz użyć bibliotek TFX, aby dodać tę funkcjonalność do własnych komponentów niestandardowych lub używać ich osobno.

    Dowiedz się więcej o bibliotekach TFX .

TFX to zestaw narzędzi do uczenia maszynowego na skalę produkcyjną Google, oparty na TensorFlow. Zapewnia strukturę konfiguracji i biblioteki współdzielone do integracji wspólnych komponentów potrzebnych do definiowania, uruchamiania i monitorowania systemu uczenia maszynowego.

Standardowe komponenty TFX

TFX rurociąg jest ciągiem elementów, które wdrażają takie rurociągu ML , który jest specjalnie zaprojektowany dla maszyny skalowalne, wydajne nauki zadań. Obejmuje to modelowanie, szkolenie, wnioskowanie i zarządzanie wdrożeniami w celach online, natywnych mobilnych i JavaScript.

Potok TFX zazwyczaj zawiera następujące komponenty:

  • ExampleGen jest pierwszym elementem wejście rurociągu, który zasysa i ewentualnie rozdziela się zestaw danych wejściowych.

  • StatisticsGen oblicza statystyki dla zbioru danych.

  • SchemaGen analizuje statystyki i tworzy schemat danych.

  • ExampleValidator szuka nieprawidłowości oraz brakujących wartości w zbiorze danych.

  • Transform wykonuje funkcji inżynierię na zbiorze.

  • Trener trenuje modelu.

  • Tuner dostraja hiperparametrów modelu.

  • Evaluator wykonuje głęboka analiza wyników treningowych i pomaga zweryfikować eksportowanych modeli, zapewniając, że są „wystarczająco dobre” musi być odłożony do produkcji.

  • InfraValidator sprawdza model jest rzeczywiście servable z infrastrukturą i zapobiega złe Model z pchanych.

  • Popychacz wdraża model na infrastrukturze obsługującej.

  • BulkInferrer przetwarzanie wykonuje partia na modelu z nieoznakowanych wniosków wnioskowania.

Ten diagram ilustruje przepływ danych między tymi komponentami:

Przepływ składników

Biblioteki TFX

TFX zawiera zarówno biblioteki, jak i komponenty potoku. Ten diagram ilustruje relacje między bibliotekami TFX a komponentami potoku:

Biblioteki i komponenty

TFX dostarcza kilka pakietów Pythona, które są bibliotekami używanymi do tworzenia komponentów potoku. Użyjesz tych bibliotek do tworzenia składników potoków, aby Twój kod mógł skoncentrować się na unikalnych aspektach potoku.

Biblioteki TFX obejmują:

  • TensorFlow sprawdzania poprawności danych (TFDV) to biblioteka do analizy i walidacji danych uczenia maszynowego. Został zaprojektowany tak, aby był wysoce skalowalny i dobrze współpracował z TensorFlow i TFX. TFDV obejmuje:

    • Skalowalne obliczanie zbiorczych statystyk danych treningowych i testowych.
    • Integracja z przeglądarką do dystrybucji danych i statystyk, a także fasetowe porównywanie par zbiorów danych (Facets).
    • Automatyczne generowanie schematów danych w celu opisania oczekiwań dotyczących danych, takich jak wymagane wartości, zakresy i słowniki.
    • Przeglądarka schematów, która pomoże Ci sprawdzić schemat.
    • Wykrywanie anomalii w celu identyfikacji anomalii, takich jak brakujące cechy, wartości spoza zakresu lub nieprawidłowe typy cech, żeby wymienić tylko kilka.
    • Przeglądarka anomalii, dzięki której możesz zobaczyć, które funkcje mają anomalie i dowiedzieć się więcej, aby je poprawić.
  • TensorFlow Transform (TFT) jest biblioteką do przeróbki dane z TensorFlow. Transformacja TensorFlow jest przydatna w przypadku danych wymagających pełnego przebiegu, takich jak:

    • Normalizuj wartość wejściową za pomocą średniej i odchylenia standardowego.
    • Konwertuj ciągi na liczby całkowite, generując słownik dla wszystkich wartości wejściowych.
    • Konwertuj zmiennoprzecinkowe na liczby całkowite, przypisując je do zasobników na podstawie obserwowanej dystrybucji danych.
  • TensorFlow służy do szkolenia modele z TFX. Pozyskuje dane szkoleniowe i kod modelowania oraz tworzy wynik SavedModel. Integruje również potok inżynierii funkcji stworzony przez TensorFlow Transform do wstępnego przetwarzania danych wejściowych.

    KerasTuner służy do hiperparametrów tuningowych dla modelu.

  • TensorFlow Analiza modelu (TFMA) jest biblioteką do oceny modeli TensorFlow. Jest używany wraz z TensorFlow do tworzenia modelu EvalSavedModel, który staje się podstawą do jego analizy. Pozwala użytkownikom oceniać swoje modele na dużych ilościach danych w sposób rozproszony, przy użyciu tych samych metryk zdefiniowanych w ich trenerze. Te metryki można obliczać na różnych wycinkach danych i wizualizować w notatnikach Jupyter.

  • TensorFlow Metadane (TFMD) zapewnia standardowe reprezentacje metadanych, które są przydatne, gdy maszyna learningowym modele z TensorFlow. Metadane mogą być tworzone ręcznie lub automatycznie podczas analizy danych wejściowych i mogą być wykorzystywane do walidacji, eksploracji i transformacji danych. Formaty serializacji metadanych obejmują:

    • Schemat opisujący dane tabelaryczne (np. tf.Examples).
    • Zbiór zbiorczych statystyk dotyczących takich zbiorów danych.
  • ML Metadane (MLMD) jest biblioteką do zapisu i odczytu metadane związane z ML deweloperskich i naukowiec danych przepływów pracy. Najczęściej metadane wykorzystują reprezentacje TFMD. MLMD zarządza utrzymywanie za pomocą SQL-Lite , MySQL oraz inne podobne magazyny danych.

Technologie wspierające

Wymagany

  • Apache Beam jest open source, jednolity model definiowania zarówno partię i strumieniowego przetwarzania danych rurociągów równoległe. TFX używa Apache Beam do implementacji równoległych potoków danych. Rurociąg jest następnie wykonywany przez jednego z obsługiwanych rozproszonego przetwarzania tylnych końców belki, do których należą, Apache Apache flink Spark, Google Cloud przepływu danych i inne.

Opcjonalny

Programy Orchestrator, takie jak Apache Airflow i Kubeflow, ułatwiają konfigurowanie, obsługę, monitorowanie i utrzymywanie potoku ML.

  • Apache Airflow to platforma programowo autor, harmonogram i monitorowania przepływów pracy. TFX wykorzystuje Airflow do tworzenia przepływów pracy jako ukierunkowanych acyklicznych wykresów (DAG) zadań. Harmonogram przepływu powietrza wykonuje zadania na tablicy pracowników, przestrzegając określonych zależności. Bogate narzędzia wiersza poleceń sprawiają, że wykonywanie złożonych operacji na DAGs jest bardzo proste. Bogaty interfejs użytkownika ułatwia wizualizację potoków działających w środowisku produkcyjnym, monitorowanie postępów i rozwiązywanie problemów w razie potrzeby. Gdy przepływy pracy są zdefiniowane jako kod, stają się bardziej łatwe w utrzymaniu, wersjonowalne, testowalne i współpracujące.

  • Kubeflow postara się, aby wdrożeń uczenia maszynowego (ML) przepływy pracy na Kubernetes proste, przenośne i skalowalne. Celem Kubeflow nie jest odtworzenie innych usług, ale zapewnienie prostego sposobu wdrażania najlepszych w swojej klasie systemów open-source dla ML w różnych infrastrukturach. Kubeflow Rurociągi umożliwiają komponowanie i wykonywanie powtarzalnych przepływów pracy na Kubeflow, zintegrowany z doświadczeń na podstawie eksperymentów i notebooków. Usługi Kubeflow Pipelines w Kubernetes obejmują hostowany magazyn metadanych, oparty na kontenerach aparat aranżacji, serwer notatników i interfejs użytkownika, które pomagają użytkownikom opracowywać, uruchamiać i zarządzać złożonymi potokami ML na dużą skalę. Zestaw Kubeflow Pipelines SDK umożliwia programowe tworzenie i udostępnianie komponentów oraz kompozycji potoków.

Przenośność i interoperacyjność

TFX ma być przenośny do wielu środowisk i ram instrumentacji, w tym Apache Airflow , Apache Beam i Kubeflow . Jest również przenośne na różnych platformach komputerowych, w tym na założeniu, i platform chmurowych, takich jak Google Cloud Platform (GCP) . W szczególności, współpracuje z TFX serveral usług zarządzanych GCP, takie jak cloud AI Platformy dla szkolenia i przewidywania , a chmura przepływu danych do przetwarzania danych rozproszonych na kilku innych aspektach cyklu ML.

Model a zapisany model

Model

Model jest wynikiem procesu uczenia. Jest to zserializowany zapis ciężarów, których nauczono się podczas treningu. Te wagi mogą być następnie używane do obliczania prognoz dla nowych przykładów wejściowych. W przypadku TFX i TensorFlow „model” odnosi się do punktów kontrolnych zawierających wagi nauczone do tego momentu.

Zauważ, że „model” może również odnosić się do definicji grafu obliczeniowego TensorFlow (tj. pliku Pythona), który wyraża sposób obliczania prognozy. Te dwa zmysły mogą być używane zamiennie w zależności od kontekstu.

Zapisany model

  • Co jest SavedModel : uniwersalny, język neutralny, hermetyczna, do odzyskania serializacji modelu TensorFlow.
  • Dlaczego jest to ważne: Umożliwia systemami wyższego poziomu do tworzenia, przekształcania i konsumować TensorFlow modeli wykorzystujących pojedynczy abstrakcję.

SavedModel to zalecany format serializacji do obsługi modelu TensorFlow w środowisku produkcyjnym lub eksportowania wytrenowanego modelu dla natywnej aplikacji mobilnej lub aplikacji JavaScript. Na przykład, aby przekształcić model w usługę REST do tworzenia prognoz, możesz serializować model jako SavedModel i obsługiwać go za pomocą TensorFlow Serving. Zobacz Doręczanie TensorFlow model , aby uzyskać więcej informacji.

Schemat

Niektóre elementy TFX używać opis danych wejściowych zwanych schemat. Schemat jest instancją schema.proto . Schematy są rodzajem buforu protokołu , ogólnie znane jako „buforów”. Schemat może określać typy danych dla wartości funkcji, czy funkcja musi być obecna we wszystkich przykładach, dozwolone zakresy wartości i inne właściwości. Jedną z korzyści płynących z używania TensorFlow Data Validation (TFDV) jest automatyczne generowanie schematu przez wnioskowanie typów, kategorii i zakresów z danych treningowych.

Oto fragment protobufu schematu:

...
feature {
  name: "age"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
feature {
  name: "capital-gain"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
...

Ze schematu korzystają następujące komponenty:

  • Walidacja danych TensorFlow
  • Transformacja przepływu tensorowego

W typowym potoku TFX TensorFlow Data Validation generuje schemat, który jest używany przez inne komponenty.

Programowanie z TFX

TFX zapewnia potężną platformę dla każdej fazy projektu uczenia maszynowego, od badań, eksperymentów i rozwoju na lokalnym komputerze po wdrażanie. W celu kodu uniknąć powielania działań oraz wyeliminowanie możliwości szkolenia / służąc pochylać zaleca się, aby zaimplementować rurociąg TFX zarówno dla modelu szkolenia i wdrażania wyszkolonych modeli, a zastosowanie transformaty komponenty, które przenoszą TensorFlow przekształcać biblioteki zarówno szkolenia i wnioskowania. W ten sposób będziesz konsekwentnie używać tego samego kodu do wstępnego przetwarzania i analizy, a także unikniesz różnic między danymi używanymi do uczenia a danymi wprowadzanymi do trenowanych modeli w środowisku produkcyjnym, a także odniesiesz korzyści z jednorazowego napisania tego kodu.

Eksploracja danych, wizualizacja i czyszczenie

Eksploracja danych, wizualizacja i czyszczenie

Rurociągi TFX zwykle zaczynają się ExampleGen składnik, który akceptuje dane i formaty wejściowe go jako tf.Examples. Często odbywa się to po podzieleniu danych na zestawy danych uczących i oceniających, tak aby w rzeczywistości istniały dwie kopie komponentów ExampleGen, po jednej do uczenia i oceny. Jest to zazwyczaj następuje StatisticsGen komponentu i SchemaGen składnik, który zbada swoje dane i wyprowadzić schematu danych i statystyk. Schemat i statystyki będą spożywane przez ExampleValidator składnik, który będzie wyglądał na anomalie, brakujących wartości i niewłaściwych typów danych w danych. Wszystkie te składniki wykorzystać możliwości tej TensorFlow Data Validation bibliotece.

TensorFlow sprawdzania poprawności danych (TFDV) jest cennym narzędziem podczas wykonywania wstępnej eksploracji, wizualizacji i czyszczenia Twojego zestawu danych. TFDV analizuje dane i określa typy danych, kategorie i zakresy, a następnie automatycznie pomaga identyfikować anomalie i brakujące wartości. Zapewnia również narzędzia do wizualizacji, które mogą pomóc w zbadaniu i zrozumieniu zestawu danych. Po ponownym uzupełnia rurociągowych można odczytać metadane z MLMD i wykorzystywać narzędzia wizualizacji TFDV w notatniku Jupyter do analizy danych.

Po początkowym szkoleniu i wdrożeniu modelu TFDV może być używany do monitorowania nowych danych z żądań wnioskowania do wdrożonych modeli i wyszukiwania anomalii i/lub dryfu. Jest to szczególnie przydatne w przypadku danych szeregów czasowych, które zmieniają się w czasie w wyniku trendu lub sezonowości, i może pomóc w informowaniu o problemach z danymi lub konieczności ponownego uczenia modeli na nowych danych.

Wizualizacja danych

Po zakończeniu pierwszego uruchomienia danych przez sekcję potoku, która używa TFDV (zazwyczaj StatisticsGen, SchemaGen i ExampleValidator), możesz zwizualizować wyniki w notatniku w stylu Jupyter. W przypadku dodatkowych przebiegów można porównywać te wyniki podczas wprowadzania korekt, aż dane będą optymalne dla danego modelu i zastosowania.

Będziesz pierwszy kwerendy ML metadane (MLMD) zlokalizować wyniki tych egzekucji tych składników, a następnie użyj funkcji API support wizualizacja w TFDV tworzyć wizualizacje w notesie. Obejmuje tfdv.load_statistics () i tfdv.visualize_statistics () Stosując tę wizualizację można lepiej zrozumieć charakterystykę zbioru danych, a jeśli to konieczne Zmienić wymagane.

Modele opracowywania i szkolenia

Inżynieria funkcji

Typowym TFX rurociąg będzie zawierać Transform komponent, który będzie wykonywał inżynierii funkcji poprzez wykorzystanie możliwości w TensorFlow Transform (TFT) biblioteki. Transformacji zużywa komponent schematu stworzonego przez komponent SchemaGen i stosuje transformacje danych do tworzenia, łączenia i przekształcenia funkcji, które będą używane do szkolenia model. Czyszczenie brakujących wartości i konwersję typów należy również wykonać w komponencie Transform, jeśli kiedykolwiek istnieje możliwość, że będą one również obecne w danych wysyłanych do żądań wnioskowania. Istnieją pewne istotne znaczenie przy projektowaniu kod TensorFlow do treningu TFX.

Modelowanie i szkolenia

Wynikiem komponentu Transform jest SavedModel które będą importowane i używane w kodzie Modelowanie w TensorFlow podczas Trainer komponentu. Ten SavedModel zawiera wszystkie przekształcenia inżynierii danych, które zostały utworzone w składniku Transform, dzięki czemu identyczne przekształcenia są wykonywane przy użyciu dokładnie tego samego kodu podczas uczenia i wnioskowania. Korzystając z kodu modelowania, w tym SavedModel ze składnika Transform, możesz korzystać z danych uczących i oceniających oraz trenować swój model.

Podczas pracy z modelami opartymi na estymatorze ostatnia sekcja kodu modelowania powinna zapisać model zarówno jako SavedModel, jak i EvalSavedModel. Zapisanie jako EvalSavedModel zapewnia, że ​​metryki używane w czasie uczenia są również dostępne podczas oceny (pamiętaj, że nie jest to wymagane w przypadku modeli opartych na Keras). Zapisywanie EvalSavedModel wymaga importu (TFMA) TensorFlow analizy modelu biblioteki w składniku trener.

import tensorflow_model_analysis as tfma
...

tfma.export.export_eval_savedmodel(
        estimator=estimator,
        export_dir_base=eval_model_dir,
        eval_input_receiver_fn=receiver_fn)

Opcjonalny tunera komponent może być dodany przed trener dostrojenie hiperparametrów (na przykład liczba warstw) na modelu. Przy zadanym modelu i przestrzeni wyszukiwania hiperparametrów algorytm strojenia znajdzie najlepsze hiperparametry na podstawie celu.

Analiza i zrozumienie wydajności modelu

Analiza modelu

Po wstępnym opracowaniu modelu i szkoleniu ważne jest, aby przeanalizować i naprawdę zrozumieć wydajność modelu. Typowym TFX rurociąg będzie zawierać oceniającego składnik, który wykorzystuje możliwości na TensorFlow Analiza modelu (TFMA) biblioteki, który dostarcza zestaw narzędzi mocy dla tej fazy rozwoju. Komponent oceniającego zużywa modelu, które eksportowane powyżej i pozwala określić listę tfma.SlicingSpec , które można wykorzystać podczas wizualizowania i analizowania wydajności modelu. Każdy SlicingSpec definiuje kawałek danych treningowych, które chcą zbadać, jak poszczególne kategorie dla kategorycznych funkcji lub cech szczególnych zakresów numerycznych.

Jest to na przykład ważne, aby zrozumieć skuteczność modelu dla różnych segmentów klientów, które można podzielić według rocznych zakupów, danych geograficznych, grupy wiekowej lub płci. Może to być szczególnie ważne w przypadku zestawów danych z długimi ogonami, w których wydajność dominującej grupy może maskować niedopuszczalną wydajność w przypadku ważnych, ale mniejszych grup. Na przykład, Twój model może działać dobrze dla przeciętnych pracowników, ale sromotnie zawodzić dla kadry kierowniczej i może być dla Ciebie ważne, aby o tym wiedzieć.

Analiza i wizualizacja modeli

Po zakończeniu swój pierwszy bieg swoich danych poprzez szkolenia modelu i prowadzenie oceniającego składnika (co wykorzystującą TFMA ) na podstawie wyników treningowych, można wizualizować wyniki w Jupyter stylu notebooka. W przypadku dodatkowych przebiegów można je porównywać podczas wprowadzania poprawek, aż do uzyskania optymalnych wyników dla danego modelu i zastosowania.

Będziesz pierwszy kwerendy ML metadane (MLMD) zlokalizować wyniki tych egzekucji tych składników, a następnie użyj funkcji API support wizualizacja w TFMA tworzyć wizualizacje w notesie. Obejmuje tfma.load_eval_results i tfma.view.render_slicing_metrics Stosując tę wizualizację można lepiej zrozumieć charakterystykę modelu, a jeśli to konieczne, zmodyfikuj w razie potrzeby.

Weryfikacja wydajności modelu

W ramach analizy wydajności modelu możesz chcieć zweryfikować wydajność względem punktu odniesienia (takiego jak aktualnie obsługujący model). Walidacja modelu odbywa się poprzez przepuszczenie zarówno kandydata oraz model bazowy do Evaluator komponentu. Ewaluator oblicza metryki (np. AUC, strata) zarówno dla kandydata, jak i dla linii bazowej wraz z odpowiednim zestawem metryk diff. Progi mogą być następnie zastosowane i wykorzystane do wypychania modeli do produkcji.

Sprawdzanie, czy model może być obsłużony

Walidacja na podczerwień

Przed wdrożeniem wytrenowanego modelu warto sprawdzić, czy model jest rzeczywiście obsługiwany w infrastrukturze obsługującej. Jest to szczególnie ważne w środowiskach produkcyjnych, aby upewnić się, że nowo opublikowany model nie uniemożliwia systemowi obsługi prognoz. InfraValidator komponent dokona kanarek wdrożenie modelu w piaskownicy środowisku i ewentualnie wysłać prawdziwe wnioski, aby sprawdzić, że dany model działa poprawnie.

Cele wdrożenia

Po opracowaniu i przeszkoleniu modelu, z którego jesteś zadowolony, nadszedł czas, aby wdrożyć go w co najmniej jednym miejscu docelowym wdrożenia, w którym będzie otrzymywać żądania wnioskowania. TFX obsługuje wdrażanie do trzech klas celów wdrażania. Wytrenowane modele, które zostały wyeksportowane jako SavedModels, można wdrożyć do dowolnego lub wszystkich tych celów wdrażania.

Przepływ składników

Wnioskowanie: Obsługa TensorFlow

TensorFlow Serving (TFS) jest elastyczny, wysoka wydajność obsługujących system uczenia maszynowego modeli, przeznaczonych dla środowisk produkcyjnych. Wykorzystuje SavedModel i akceptuje żądania wnioskowania za pośrednictwem interfejsów REST lub gRPC. Działa jako zestaw procesów na jednym lub kilku serwerach sieciowych, wykorzystując jedną z kilku zaawansowanych architektur do obsługi synchronizacji i obliczeń rozproszonych. Zobacz dokumentację TFS , aby uzyskać więcej informacji na temat tworzenia i wdrażania rozwiązań TFS.

W typowym przewodem, SavedModel który został przeszkolony w Trainer komponentu musi najpierw zostać infra-zatwierdzone w InfraValidator komponentu. InfraValidator uruchamia kanarkowy serwer modelu TFS, aby faktycznie obsługiwać SavedModel. Jeśli walidacja minęło, A Pusher składnik będzie ostatecznie wdrożyć SavedModel do infrastruktury TFS. Obejmuje to obsługę wielu wersji i aktualizacji modeli.

Wnioskowanie w natywnych aplikacjach mobilnych i IoT: TensorFlow Lite

TensorFlow Lite to zestaw narzędzi, które jest dedykowane dla programistów pomocy wyszkolonych TensorFlow wykorzystywać swoje modele w natywnych aplikacji mobilnych oraz Internetu przedmiotów. Wykorzystuje te same modele SavedModels co TensorFlow Serving i stosuje optymalizacje, takie jak kwantyzacja i przycinanie, aby zoptymalizować rozmiar i wydajność wynikowych modeli pod kątem wyzwań związanych z działaniem na urządzeniach mobilnych i IoT. Więcej informacji na temat korzystania z TensorFlow Lite można znaleźć w dokumentacji TensorFlow Lite.

Wnioskowanie w JavaScript: TensorFlow JS

TensorFlow JS jest biblioteką JavaScript dla szkolenia i wdrażania modeli ml w przeglądarce i na Node.js. Wykorzystuje te same SavedModels, co TensorFlow Serving i TensorFlow Lite, i konwertuje je do formatu TensorFlow.js Web. Więcej informacji na temat korzystania z TensorFlow JS można znaleźć w dokumentacji TensorFlow JS.

Tworzenie potoku TFX z przepływem powietrza

Sprawdzić przepływ powietrza warsztat szczegóły

Tworzenie potoku TFX za pomocą Kubeflow

Ustawiać

Kubeflow wymaga klastra Kubernetes do uruchamiania potoków na dużą skalę. Zobacz rozmieszczenia wytycznej Kubeflow że przewodnik przez opcje wdrażania klastra Kubeflow.

Skonfiguruj i uruchom potok TFX

Należy postępować zgodnie z TFX na tutorialu Chmura AI Platforma Pipeline aby uruchomić przykład rurociąg TFX na Kubeflow. Komponenty TFX zostały skonteneryzowane w celu utworzenia potoku Kubeflow, a przykład ilustruje możliwość skonfigurowania potoku do odczytu dużego publicznego zestawu danych oraz wykonywania etapów uczenia i przetwarzania danych na dużą skalę w chmurze.

Interfejs wiersza poleceń dla działań potoku

TFX zapewnia ujednolicony interfejs wiersza polecenia, który pomaga w wykonywaniu pełnego zakresu akcji potoków, takich jak tworzenie, aktualizowanie, uruchamianie, wyświetlanie i usuwanie potoków w różnych koordynatorach, w tym Apache Airflow, Apache Beam i Kubeflow. Aby uzyskać szczegółowe informacje, należy postępować zgodnie z poniższymi instrukcjami .