Dzień Społeczności ML jest 9 listopada! Dołącz do nas na aktualizacje z TensorFlow Jax i więcej Dowiedz się więcej

Analiza modelu TensorFlow

TensorFlow Analiza modelu (TFMA) jest biblioteką do oceny modeli TensorFlow. Pozwala użytkownikom oceniać swoje modele na dużych ilościach danych w sposób rozproszony, używając tych samych metryk zdefiniowanych w ich trenerze. Te metryki można obliczać na różnych wycinkach danych i wizualizować w notatnikach Jupyter.

Przeglądarka metryk krojenia TFMA

Instalacja

Zalecanym sposobem zainstalowania TFMA używa pakietu PyPI :

pip install tensorflow-model-analysis

Zbuduj TFMA ze źródła

Aby zbudować ze źródła, wykonaj następujące kroki:

Zainstalować protoc zgodnie odnośnik wspomniano: protoc

Utwórz wirtualne środowisko, uruchamiając polecenia

python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/model-analysis.git
cd model-analysis
python3 setup.py bdist_wheel

To zbuduje koło TFMA w katalogu dist. Aby zainstalować kierownicę z katalogu dist, uruchom polecenia

cd dist
pip3 install tensorflow_model_analysis-<version>-py3-none-any.whl

Pakiety nocne

TFMA gospodarze również nocne pakiety w https://pypi-nightly.tensorflow.org na Google Cloud. Aby zainstalować najnowszy pakiet nightly, użyj następującego polecenia:

pip install -i https://pypi-nightly.tensorflow.org/simple tensorflow-model-analysis

Spowoduje to zainstalowanie nocnych pakietów dla głównych zależności TFMA, takich jak TensorFlow Metadata (TFMD), TFX Basic Shared Libraries (TFX-BSL).

Obecnie TFMA wymaga zainstalowania TensorFlow, ale nie ma wyraźnej zależności od pakietu TensorFlow PyPI. Zobacz TensorFlow zainstalować prowadnice do instrukcji.

Aby włączyć wizualizację TFMA w Notatniku Jupyter:

  jupyter nbextension enable --py widgetsnbextension
  jupyter nbextension enable --py tensorflow_model_analysis

Laboratorium Jupytera

Jak pisać, bo z https://github.com/pypa/pip/issues/9187, pip install może nigdy nie skończyć. W takim przypadku należy przywrócić pip do wersji 19 zamiast 20: pip install "pip<20" .

Korzystanie z rozszerzenia JupyterLab wymaga zainstalowania zależności w wierszu poleceń. Możesz to zrobić w konsoli w interfejsie użytkownika JupyterLab lub w wierszu poleceń. Obejmuje to osobną instalację wszelkich zależności pakietu pip i zależności wtyczki JupyterLab labextension, a numery wersji muszą być zgodne.

Poniższe przykłady używają 0.27.0. Sprawdź dostępne wersje poniżej używać najnowszej.

Laboratorium Jupytera 1.2.x

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@1.1

Laboratorium Jupytera 2

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@2

Rozwiązywanie problemów

Sprawdź pakiety pipsów:

pip list

Sprawdź rozszerzenia:

jupyter labextension list

Znaczące zależności

TensorFlow jest wymagany.

Apache Beam jest wymagane; w ten sposób obsługiwane są wydajne obliczenia rozproszone. Domyślnie Apache Beam działa w trybie lokalnym, ale może również pracować w trybie rozproszonym za pomocą Google Cloud przepływ danych i innych Apache Beam biegaczy .

Apache Strzałka jest również wymagane. TFMA używa strzałki do wewnętrznej reprezentacji danych w celu wykorzystania wektoryzacji funkcji numpy.

Pierwsze kroki

Instrukcje dotyczące korzystania TFMA, zobacz zacząć instrukcji .

Kompatybilne wersje

Poniższa tabela przedstawia wersje pakietów TFMA, które są ze sobą kompatybilne. To zależy od naszej ramach testów, ale inne kombinacje niesprawdzone może również pracować.

analiza-modelu-tensorflow Apache-beam[gcp] pyarrow przepływ tensorowy metadane tensorflow tfx-bsl
Mistrz GitHub 2.32.0 2.0.0 noc (1.x/2.x) 1.2.0 1.3.0
0.34.1 2.32.0 2.0.0 1,15 / 2,6 1.2.0 1.3.0
0.34.0 2.31.0 2.0.0 1,15 / 2,6 1.2.0 1.3.1
0,33,0 2.31.0 2.0.0 1,15 / 2,5 1.2.0 1.2.0
0.32.1 2.29.0 2.0.0 1,15 / 2,5 1.1.0 1.1.1
0,32,0 2.29.0 2.0.0 1,15 / 2,5 1.1.0 1.1.0
0,31,0 2.29.0 2.0.0 1,15 / 2,5 1.0.0 1.0.0
0,30,0 2,28.0 2.0.0 1,15 / 2,4 0,30,0 0,30,0
0.29.0 2,28.0 2.0.0 1,15 / 2,4 0.29.0 0.29.0
0,28,0 2,28.0 2.0.0 1,15 / 2,4 0,28,0 0,28,0
0,27,0 2,27,0 2.0.0 1,15 / 2,4 0,27,0 0,27,0
0,26,1 2,28.0 0,17,0 1,15 / 2,3 0,26,0 0,26,0
0,26,0 2,25,0 0,17,0 1,15 / 2,3 0,26,0 0,26,0
0,25,0 2,25,0 0,17,0 1,15 / 2,3 0,25,0 0,25,0
0,24,3 2.24.0 0,17,0 1,15 / 2,3 0,24,0 0.24.1
0.24.2 2.23.0 0,17,0 1,15 / 2,3 0,24,0 0,24,0
0.24.1 2.23.0 0,17,0 1,15 / 2,3 0,24,0 0,24,0
0,24,0 2.23.0 0,17,0 1,15 / 2,3 0,24,0 0,24,0
0,23,0 2.23.0 0,17,0 1,15 / 2,3 0,23,0 0,23,0
0,22.2 2.20.0 0,16,0 1,15 / 2,2 0,22.2 0,22,0
0.22.1 2,20,0 0,16,0 1,15 / 2,2 0,22.2 0,22,0
0,22,0 2,20,0 0,16,0 1,15 / 2,2 0,22,0 0,22,0
0,21,6 2.19.0 0.15.0 1,15 / 2,1 0,21,0 0,21,3
0,21,5 2.19.0 0,15,0 1,15 / 2,1 0,21,0 0,21,3
0,21,4 2.19.0 0.15.0 1,15 / 2,1 0,21,0 0,21,3
0,21,3 2.17.0 0.15.0 1,15 / 2,1 0,21,0 0,21,0
0,21,2 2.17.0 0.15.0 1,15 / 2,1 0,21,0 0,21,0
0,21,1 2.17.0 0.15.0 1,15 / 2,1 0,21,0 0,21,0
0,21,0 2.17.0 0.15.0 1,15 / 2,1 0,21,0 0,21,0
0.15.4 2,16.0 0.15.0 1,15 / 2,0 nie dotyczy 0.15.1
0.15.3 2,16.0 0.15.0 1,15 / 2,0 nie dotyczy 0.15.1
0.15.2 2,16.0 0.15.0 1,15 / 2,0 nie dotyczy 0.15.1
0.15.1 2,16.0 0.15.0 1,15 / 2,0 nie dotyczy 0.15.0
0.15.0 2,16.0 0.15.0 1.15 nie dotyczy nie dotyczy
0.14.0 2.14.0 nie dotyczy 1.14 nie dotyczy nie dotyczy
0,13,1 2.11.0 nie dotyczy 1.13 nie dotyczy nie dotyczy
0,13,0 2.11.0 nie dotyczy 1.13 nie dotyczy nie dotyczy
0.12.1 2.10.0 nie dotyczy 1.12 nie dotyczy nie dotyczy
0.12.0 2.10.0 nie dotyczy 1.12 nie dotyczy nie dotyczy
0.11.0 2.8.0 nie dotyczy 1.11 nie dotyczy nie dotyczy
0.9.2 2.6.0 nie dotyczy 1,9 nie dotyczy nie dotyczy
0.9.1 2.6.0 nie dotyczy 1.10 nie dotyczy nie dotyczy
0.9.0 2.5.0 nie dotyczy 1,9 nie dotyczy nie dotyczy
0.6.0 2.4.0 nie dotyczy 1,6 nie dotyczy nie dotyczy

pytania

Proszę kierować wszelkie pytania na temat pracy z TFMA do przepełnienie stosu za pomocą tensorflow model analizy tag.