TensorFlow Transform, TensorFlow ile verilerin ön işlenmesine yönelik bir kitaplıktır. tf.Transform aşağıdakiler gibi tam geçiş gerektiren veriler için kullanışlıdır:
- Bir giriş değerini ortalama ve standart sapmaya göre normalleştirin.
- Tüm giriş değerleri için bir sözlük oluşturarak dizeleri tam sayılara dönüştürün.
- Kayan noktaları gözlemlenen veri dağılımına göre paketlere atayarak tam sayılara dönüştürün.
TensorFlow, tek bir örnek veya bir grup örnek üzerinde manipülasyonlar için yerleşik desteğe sahiptir. tf.Transform örnek veriler üzerinde tam geçişleri desteklemek için bu yetenekleri genişletir.
tf.Transform çıktısı, eğitim ve sunum için kullanılmak üzere bir TensorFlow grafiği olarak dışa aktarılır. Hem eğitim hem de servis için aynı grafiğin kullanılması, her iki aşamada da aynı dönüşümler uygulandığından çarpıklığı önleyebilir.
tf.Transform giriş için TFX'teki TFX Geliştirici Zirvesi konuşmasının tf.Transform bölümüne bakın ( bağlantı ).
Kurulum
tensorflow-transform PyPI paketi, tf.Transform kurmanın önerilen yoludur:
pip install tensorflow-transform
TFT'yi kaynaktan oluşturun
Kaynaktan derlemek için aşağıdaki adımları izleyin: Komutları çalıştırarak sanal bir ortam oluşturun
python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/transform.git
cd transform
python3 setup.py bdist_wheel
Bu, TFT tekerleğini dist dizininde oluşturacaktır. Tekerleği dist dizininden kurmak için komutları çalıştırın
cd dist
pip3 install tensorflow_transform-<version>-py3-none-any.whl
Gecelik Paketler
TFT ayrıca Google Cloud'da https://pypi-nightly.tensorflow.org adresinde gecelik paketler de barındırıyor. En son gecelik paketi yüklemek için lütfen aşağıdaki komutu kullanın:
pip install --extra-index-url https://pypi-nightly.tensorflow.org/simple tensorflow-transform
Bu, TensorFlow Meta Verileri (TFMD), TFX Temel Paylaşımlı Kitaplıklar (TFX-BSL) gibi TFT'nin ana bağımlılıklarına yönelik gecelik paketleri yükleyecektir.
Önemli Bağımlılıklar
TensorFlow gereklidir.
Apache Beam gereklidir; verimli dağıtılmış hesaplamanın desteklenmesinin yolu budur. Apache Beam varsayılan olarak yerel modda çalışır ancak Google Cloud Dataflow ve diğer Apache Beam çalıştırıcılarını kullanarak dağıtılmış modda da çalışabilir.
Apache Arrow da gereklidir. TFT, vektörleştirilmiş numpy işlevlerinden yararlanmak amacıyla verileri dahili olarak temsil etmek için Arrow'u kullanır.
Uyumlu sürümler
Aşağıdaki tablo tf.Transform paketinin birbiriyle uyumlu versiyonlarını göstermektedir. Bu, test çerçevemiz tarafından belirlenir ancak test edilmemiş diğer kombinasyonlar da işe yarayabilir.
| tensorflow dönüşümü | apache-ışını[gcp] | çalı otu | tensor akışı | tensorflow meta verileri | tfx-bsl |
|---|---|---|---|---|---|
| GitHub ustası | 2.47.0 | 10.0.0 | gecelik (2.x) | 1.15.0 | 1.15.1 |
| 1.15.0 | 2.47.0 | 10.0.0 | 2.15 | 1.15.0 | 1.15.1 |
| 1.14.0 | 2.47.0 | 10.0.0 | 2.13 | 1.14.0 | 1.14.0 |
| 1.13.0 | 2.41.0 | 6.0.0 | 2.12 | 1.13.1 | 1.13.0 |
| 1.12.0 | 2.41.0 | 6.0.0 | 2.11 | 1.12.0 | 1.12.0 |
| 1.11.0 | 2.41.0 | 6.0.0 | 1.15.5 / 2.10 | 1.11.0 | 1.11.0 |
| 1.10.0 | 2.40.0 | 6.0.0 | 1.15.5 / 2.9 | 1.10.0 | 1.10.0 |
| 1.9.0 | 2.38.0 | 5.0.0 | 1.15.5 / 2.9 | 1.9.0 | 1.9.0 |
| 1.8.0 | 2.38.0 | 5.0.0 | 1.15.5 / 2.8 | 1.8.0 | 1.8.0 |
| 1.7.0 | 2.36.0 | 5.0.0 | 1.15.5 / 2.8 | 1.7.0 | 1.7.0 |
| 1.6.1 | 2.35.0 | 5.0.0 | 1.15.5 / 2.8 | 1.6.0 | 1.6.0 |
| 1.6.0 | 2.35.0 | 5.0.0 | 1.15.5 / 2.7 | 1.6.0 | 1.6.0 |
| 1.5.0 | 2.34.0 | 5.0.0 | 1.15.2 / 2.7 | 1.5.0 | 1.5.0 |
| 1.4.1 | 2.33.0 | 4.0.1 | 1.15.2 / 2.6 | 1.4.0 | 1.4.0 |
| 1.4.0 | 2.33.0 | 4.0.1 | 1.15.2 / 2.6 | 1.4.0 | 1.4.0 |
| 1.3.0 | 2.31.0 | 2.0.0 | 1.15.2 / 2.6 | 1.2.0 | 1.3.0 |
| 1.2.0 | 2.31.0 | 2.0.0 | 1.15.2 / 2.5 | 1.2.0 | 1.2.0 |
| 1.1.1 | 2.29.0 | 2.0.0 | 1.15.2 / 2.5 | 1.1.0 | 1.1.1 |
| 1.1.0 | 2.29.0 | 2.0.0 | 1.15.2 / 2.5 | 1.1.0 | 1.1.0 |
| 1.0.0 | 2.29.0 | 2.0.0 | 1,15 / 2,5 | 1.0.0 | 1.0.0 |
| 0.30.0 | 2.28.0 | 2.0.0 | 1,15 / 2,4 | 0.30.0 | 0.30.0 |
| 0.29.0 | 2.28.0 | 2.0.0 | 1,15 / 2,4 | 0.29.0 | 0.29.0 |
| 0.28.0 | 2.28.0 | 2.0.0 | 1,15 / 2,4 | 0.28.0 | 0.28.1 |
| 0.27.0 | 2.27.0 | 2.0.0 | 1,15 / 2,4 | 0.27.0 | 0.27.0 |
| 0.26.0 | 2.25.0 | 0.17.0 | 1,15 / 2,3 | 0.26.0 | 0.26.0 |
| 0.25.0 | 2.25.0 | 0.17.0 | 1,15 / 2,3 | 0.25.0 | 0.25.0 |
| 0.24.1 | 2.24.0 | 0.17.0 | 1,15 / 2,3 | 0.24.0 | 0.24.1 |
| 0.24.0 | 2.23.0 | 0.17.0 | 1,15 / 2,3 | 0.24.0 | 0.24.0 |
| 0.23.0 | 2.23.0 | 0.17.0 | 1,15 / 2,3 | 0.23.0 | 0.23.0 |
| 0.22.0 | 2.20.0 | 0.16.0 | 1,15 / 2,2 | 0.22.0 | 0.22.0 |
| 0.21.2 | 2.17.0 | 0.15.0 | 1,15 / 2,1 | 0.21.0 | 0.21.3 |
| 0.21.0 | 2.17.0 | 0.15.0 | 1,15 / 2,1 | 0.21.0 | 0.21.0 |
| 0.15.0 | 2.16.0 | 0.14.0 | 1,15 / 2,0 | 0.15.0 | 0.15.0 |
| 0.14.0 | 2.14.0 | 0.14.0 | 1.14 | 0.14.0 | yok |
| 0.13.0 | 2.11.0 | yok | 1.13 | 0.12.1 | yok |
| 0.12.0 | 2.10.0 | yok | 1.12 | 0.12.0 | yok |
| 0.11.0 | 2.8.0 | yok | 1.11 | 0.9.0 | yok |
| 0.9.0 | 2.6.0 | yok | 1.9 | 0.9.0 | yok |
| 0.8.0 | 2.5.0 | yok | 1.8 | yok | yok |
| 0.6.0 | 2.4.0 | yok | 1.6 | yok | yok |
| 0.5.0 | 2.3.0 | yok | 1.5 | yok | yok |
| 0.4.0 | 2.2.0 | yok | 1.4 | yok | yok |
| 0.3.1 | 2.1.1 | yok | 1.3 | yok | yok |
| 0.3.0 | 2.1.1 | yok | 1.3 | yok | yok |
| 0.1.10 | 2.0.0 | yok | 1.0 | yok | yok |
Sorular
Lütfen tf.Transform ile çalışmayla ilgili sorularınızı tensorflow-transform etiketini kullanarak Stack Overflow'a yönlendirin.