TensorFlow Transform è una libreria per la preelaborazione dei dati con TensorFlow. tf.Transform è utile per i dati che richiedono un passaggio completo, come:
- Normalizzare un valore di input mediante media e deviazione standard.
- Converti stringhe in numeri interi generando un vocabolario su tutti i valori di input.
- Converti i float in numeri interi assegnandoli ai bucket in base alla distribuzione dei dati osservata.
TensorFlow dispone del supporto integrato per le manipolazioni su un singolo esempio o su un batch di esempi. tf.Transform estende queste funzionalità per supportare i passaggi completi sui dati di esempio.
L'output di tf.Transform viene esportato come grafico TensorFlow da utilizzare per l'addestramento e la gestione. L'utilizzo dello stesso grafico sia per l'addestramento che per il servizio può evitare distorsioni poiché in entrambe le fasi vengono applicate le stesse trasformazioni.
Per un'introduzione a tf.Transform , consulta la sezione tf.Transform del discorso del TFX Dev Summit su TFX ( link ).
Installazione
Il pacchetto PyPI tensorflow-transform è il modo consigliato per installare tf.Transform :
pip install tensorflow-transform
Costruisci TFT dal sorgente
Per creare dal codice sorgente, attenersi alla seguente procedura: Creare un ambiente virtuale eseguendo i comandi
python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/transform.git
cd transform
python3 setup.py bdist_wheel
Questo costruirà la ruota TFT nella directory dist. Per installare il volante dalla directory dist esegui i comandi
cd dist
pip3 install tensorflow_transform-<version>-py3-none-any.whl
Pacchetti notturni
TFT ospita anche pacchetti notturni su https://pypi-nightly.tensorflow.org su Google Cloud. Per installare l'ultimo pacchetto notturno, utilizzare il seguente comando:
pip install --extra-index-url https://pypi-nightly.tensorflow.org/simple tensorflow-transform
Verranno installati i pacchetti notturni per le principali dipendenze di TFT come TensorFlow Metadata (TFMD), TFX Basic Shared Libraries (TFX-BSL).
Dipendenze notevoli
TensorFlow è obbligatorio.
È richiesto Apache Beam ; è il modo in cui viene supportato il calcolo distribuito efficiente. Per impostazione predefinita, Apache Beam viene eseguito in modalità locale, ma può anche essere eseguito in modalità distribuita utilizzando Google Cloud Dataflow e altri runner Apache Beam.
È richiesto anche Apache Arrow . TFT utilizza Arrow per rappresentare i dati internamente al fine di utilizzare funzioni numpy vettorializzate.
Versioni compatibili
La tabella seguente riporta le versioni del pacchetto tf.Transform compatibili tra loro. Ciò è determinato dal nostro framework di test, ma potrebbero funzionare anche altre combinazioni non testate .
| trasformata tensorflusso | apache-beam[gcp] | piarrow | tensoreflusso | metadati di tensorflow | tfx-bsl |
|---|---|---|---|---|---|
| Maestro di GitHub | 2.47.0 | 10.0.0 | notturno (2.x) | 1.15.0 | 1.15.1 |
| 1.15.0 | 2.47.0 | 10.0.0 | 2.15 | 1.15.0 | 1.15.1 |
| 1.14.0 | 2.47.0 | 10.0.0 | 2.13 | 1.14.0 | 1.14.0 |
| 1.13.0 | 2.41.0 | 6.0.0 | 2.12 | 1.13.1 | 1.13.0 |
| 1.12.0 | 2.41.0 | 6.0.0 | 2.11 | 1.12.0 | 1.12.0 |
| 1.11.0 | 2.41.0 | 6.0.0 | 1.15.5/2.10 | 1.11.0 | 1.11.0 |
| 1.10.0 | 2.40.0 | 6.0.0 | 1.15.5/2.9 | 1.10.0 | 1.10.0 |
| 1.9.0 | 2.38.0 | 5.0.0 | 1.15.5/2.9 | 1.9.0 | 1.9.0 |
| 1.8.0 | 2.38.0 | 5.0.0 | 1.15.5/2.8 | 1.8.0 | 1.8.0 |
| 1.7.0 | 2.36.0 | 5.0.0 | 1.15.5/2.8 | 1.7.0 | 1.7.0 |
| 1.6.1 | 2.35.0 | 5.0.0 | 1.15.5/2.8 | 1.6.0 | 1.6.0 |
| 1.6.0 | 2.35.0 | 5.0.0 | 1.15.5/2.7 | 1.6.0 | 1.6.0 |
| 1.5.0 | 2.34.0 | 5.0.0 | 1.15.2/2.7 | 1.5.0 | 1.5.0 |
| 1.4.1 | 2.33.0 | 4.0.1 | 1.15.2/2.6 | 1.4.0 | 1.4.0 |
| 1.4.0 | 2.33.0 | 4.0.1 | 1.15.2/2.6 | 1.4.0 | 1.4.0 |
| 1.3.0 | 2.31.0 | 2.0.0 | 1.15.2/2.6 | 1.2.0 | 1.3.0 |
| 1.2.0 | 2.31.0 | 2.0.0 | 1.15.2/2.5 | 1.2.0 | 1.2.0 |
| 1.1.1 | 2.29.0 | 2.0.0 | 1.15.2/2.5 | 1.1.0 | 1.1.1 |
| 1.1.0 | 2.29.0 | 2.0.0 | 1.15.2/2.5 | 1.1.0 | 1.1.0 |
| 1.0.0 | 2.29.0 | 2.0.0 | 1.15/2.5 | 1.0.0 | 1.0.0 |
| 0.30.0 | 2.28.0 | 2.0.0 | 1.15/2.4 | 0.30.0 | 0.30.0 |
| 0.29.0 | 2.28.0 | 2.0.0 | 1.15/2.4 | 0.29.0 | 0.29.0 |
| 0.28.0 | 2.28.0 | 2.0.0 | 1.15/2.4 | 0.28.0 | 0.28.1 |
| 0.27.0 | 2.27.0 | 2.0.0 | 1.15/2.4 | 0.27.0 | 0.27.0 |
| 0.26.0 | 2.25.0 | 0.17.0 | 1.15/2.3 | 0.26.0 | 0.26.0 |
| 0.25.0 | 2.25.0 | 0.17.0 | 1.15/2.3 | 0.25.0 | 0.25.0 |
| 0.24.1 | 2.24.0 | 0.17.0 | 1.15/2.3 | 0.24.0 | 0.24.1 |
| 0.24.0 | 2.23.0 | 0.17.0 | 1.15/2.3 | 0.24.0 | 0.24.0 |
| 0.23.0 | 2.23.0 | 0.17.0 | 1.15/2.3 | 0.23.0 | 0.23.0 |
| 0.22.0 | 2.20.0 | 0.16.0 | 1.15/2.2 | 0.22.0 | 0.22.0 |
| 0.21.2 | 2.17.0 | 0.15.0 | 1.15/2.1 | 0.21.0 | 0.21.3 |
| 0.21.0 | 2.17.0 | 0.15.0 | 1.15/2.1 | 0.21.0 | 0.21.0 |
| 0.15.0 | 2.16.0 | 0.14.0 | 1,15/2,0 | 0.15.0 | 0.15.0 |
| 0.14.0 | 2.14.0 | 0.14.0 | 1.14 | 0.14.0 | n / a |
| 0.13.0 | 2.11.0 | n / a | 1.13 | 0.12.1 | n / a |
| 0.12.0 | 2.10.0 | n / a | 1.12 | 0.12.0 | n / a |
| 0.11.0 | 2.8.0 | n / a | 1.11 | 0.9.0 | n / a |
| 0.9.0 | 2.6.0 | n / a | 1.9 | 0.9.0 | n / a |
| 0.8.0 | 2.5.0 | n / a | 1.8 | n / a | n / a |
| 0.6.0 | 2.4.0 | n / a | 1.6 | n / a | n / a |
| 0.5.0 | 2.3.0 | n / a | 1.5 | n / a | n / a |
| 0.4.0 | 2.2.0 | n / a | 1.4 | n / a | n / a |
| 0.3.1 | 2.1.1 | n / a | 1.3 | n / a | n / a |
| 0.3.0 | 2.1.1 | n / a | 1.3 | n / a | n / a |
| 0.1.10 | 2.0.0 | n / a | 1.0 | n / a | n / a |
Domande
Rivolgi eventuali domande sull'utilizzo di tf.Transform a Stack Overflow utilizzando il tag tensorflow-transform .