TensorFlow Transform হল TensorFlow এর সাথে ডেটা প্রিপ্রসেস করার জন্য একটি লাইব্রেরি। tf.Transform সেই ডেটার জন্য উপযোগী যার জন্য একটি পূর্ণ-পাস প্রয়োজন, যেমন:
- গড় এবং মানক বিচ্যুতি দ্বারা একটি ইনপুট মান স্বাভাবিক করুন।
- সমস্ত ইনপুট মানগুলির উপর একটি শব্দভান্ডার তৈরি করে স্ট্রিংগুলিকে পূর্ণসংখ্যাতে রূপান্তর করুন।
- পর্যবেক্ষণ করা ডেটা বিতরণের উপর ভিত্তি করে বালতিতে ফ্লোটগুলিকে পূর্ণসংখ্যাতে রূপান্তর করুন।
TensorFlow একটি একক উদাহরণ বা উদাহরণের একটি ব্যাচে ম্যানিপুলেশনের জন্য অন্তর্নির্মিত সমর্থন রয়েছে। tf.Transform উদাহরণ ডেটার উপর পূর্ণ-পাস সমর্থন করার জন্য এই ক্ষমতাগুলি প্রসারিত করে।
প্রশিক্ষণ এবং পরিবেশনের জন্য ব্যবহার করার জন্য tf.Transform এর আউটপুট টেনসরফ্লো গ্রাফ হিসাবে রপ্তানি করা হয়। প্রশিক্ষণ এবং পরিবেশন উভয়ের জন্য একই গ্রাফ ব্যবহার করা তির্যক প্রতিরোধ করতে পারে কারণ উভয় পর্যায়ে একই রূপান্তর প্রয়োগ করা হয়।
tf.Transform এর পরিচিতির জন্য, TFX-এ TFX ডেভ সামিট টক-এর tf.Transform বিভাগটি দেখুন ( লিঙ্ক )।
স্থাপন
tensorflow-transform PyPI প্যাকেজ হল tf.Transform ইনস্টল করার প্রস্তাবিত উপায়:
pip install tensorflow-transform
উৎস থেকে TFT তৈরি করুন
উত্স থেকে তৈরি করতে নিম্নলিখিত পদক্ষেপগুলি অনুসরণ করুন: কমান্ডগুলি চালিয়ে একটি ভার্চুয়াল পরিবেশ তৈরি করুন৷
python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/transform.git
cd transform
python3 setup.py bdist_wheel
এটি dist ডিরেক্টরিতে TFT চাকা তৈরি করবে। ডিস্ট ডিরেক্টরি থেকে চাকা ইনস্টল করতে কমান্ডগুলি চালান
cd dist
pip3 install tensorflow_transform-<version>-py3-none-any.whl
রাত্রিকালীন প্যাকেজ
TFT Google ক্লাউডে https://pypi-nightly.tensorflow.org- এ রাতের প্যাকেজগুলিও হোস্ট করে। সর্বশেষ রাতের প্যাকেজ ইনস্টল করতে, অনুগ্রহ করে নিম্নলিখিত কমান্ডটি ব্যবহার করুন:
pip install --extra-index-url https://pypi-nightly.tensorflow.org/simple tensorflow-transform
এটি TFT-এর প্রধান নির্ভরতা যেমন টেনসরফ্লো মেটাডেটা (TFMD), TFX বেসিক শেয়ার্ড লাইব্রেরি (TFX-BSL) এর জন্য রাত্রিকালীন প্যাকেজগুলি ইনস্টল করবে।
উল্লেখযোগ্য নির্ভরতা
টেনসরফ্লো প্রয়োজন।
অ্যাপাচি রশ্মি প্রয়োজন; এটি দক্ষ বিতরণ গণনা সমর্থিত যে উপায়. ডিফল্টরূপে, Apache Beam স্থানীয় মোডে চলে কিন্তু Google Cloud Dataflow এবং অন্যান্য Apache Beam রানার ব্যবহার করে বিতরণ করা মোডেও চলতে পারে।
Apache তীর এছাড়াও প্রয়োজন. TFT ভেক্টরাইজড নম্পি ফাংশন ব্যবহার করার জন্য অভ্যন্তরীণভাবে ডেটা উপস্থাপন করতে তীর ব্যবহার করে।
সামঞ্জস্যপূর্ণ সংস্করণ
নিম্নলিখিত টেবিলটি হল tf.Transform প্যাকেজ সংস্করণ যা একে অপরের সাথে সামঞ্জস্যপূর্ণ। এটি আমাদের পরীক্ষার কাঠামোর দ্বারা নির্ধারিত হয়, তবে অন্যান্য অ-পরীক্ষিত সমন্বয়গুলিও কাজ করতে পারে।
| tensorflow-রূপান্তর | অ্যাপাচি-বিম [জিসিপি] | পিয়ারো | tensorflow | tensorflow-metadata | tfx-bsl |
|---|---|---|---|---|---|
| গিটহাব মাস্টার | 2.47.0 | 10.0.0 | রাত্রিকালীন (2.x) | 1.15.0 | 1.15.1 |
| 1.15.0 | 2.47.0 | 10.0.0 | 2.15 | 1.15.0 | 1.15.1 |
| 1.14.0 | 2.47.0 | 10.0.0 | 2.13 | 1.14.0 | 1.14.0 |
| 1.13.0 | 2.41.0 | 6.0.0 | 2.12 | 1.13.1 | 1.13.0 |
| 1.12.0 | 2.41.0 | 6.0.0 | 2.11 | 1.12.0 | 1.12.0 |
| 1.11.0 | 2.41.0 | 6.0.0 | 1.15.5 / 2.10 | 1.11.0 | 1.11.0 |
| 1.10.0 | 2.40.0 | 6.0.0 | 1.15.5 / 2.9 | 1.10.0 | 1.10.0 |
| 1.9.0 | 2.38.0 | 5.0.0 | 1.15.5 / 2.9 | 1.9.0 | 1.9.0 |
| 1.8.0 | 2.38.0 | 5.0.0 | 1.15.5 / 2.8 | 1.8.0 | 1.8.0 |
| 1.7.0 | 2.36.0 | 5.0.0 | 1.15.5 / 2.8 | 1.7.0 | 1.7.0 |
| 1.6.1 | 2.35.0 | 5.0.0 | 1.15.5 / 2.8 | 1.6.0 | 1.6.0 |
| 1.6.0 | 2.35.0 | 5.0.0 | 1.15.5 / 2.7 | 1.6.0 | 1.6.0 |
| 1.5.0 | 2.34.0 | 5.0.0 | 1.15.2 / 2.7 | 1.5.0 | 1.5.0 |
| 1.4.1 | 2.33.0 | 4.0.1 | 1.15.2 / 2.6 | 1.4.0 | 1.4.0 |
| 1.4.0 | 2.33.0 | 4.0.1 | 1.15.2 / 2.6 | 1.4.0 | 1.4.0 |
| 1.3.0 | 2.31.0 | 2.0.0 | 1.15.2 / 2.6 | 1.2.0 | 1.3.0 |
| 1.2.0 | 2.31.0 | 2.0.0 | 1.15.2 / 2.5 | 1.2.0 | 1.2.0 |
| 1.1.1 | 2.29.0 | 2.0.0 | 1.15.2 / 2.5 | 1.1.0 | 1.1.1 |
| 1.1.0 | 2.29.0 | 2.0.0 | 1.15.2 / 2.5 | 1.1.0 | 1.1.0 |
| 1.0.0 | 2.29.0 | 2.0.0 | 1.15 / 2.5 | 1.0.0 | 1.0.0 |
| 0.30.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.30.0 | 0.30.0 |
| 0.29.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.29.0 | 0.29.0 |
| 0.28.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.28.0 | 0.28.1 |
| 0.27.0 | 2.27.0 | 2.0.0 | 1.15 / 2.4 | 0.27.0 | 0.27.0 |
| 0.26.0 | 2.25.0 | 0.17.0 | 1.15 / 2.3 | 0.26.0 | 0.26.0 |
| 0.25.0 | 2.25.0 | 0.17.0 | 1.15 / 2.3 | 0.25.0 | 0.25.0 |
| 0.24.1 | 2.24.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.1 |
| 0.24.0 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.0 |
| 0.23.0 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.23.0 | 0.23.0 |
| 0.22.0 | 2.20.0 | 0.16.0 | 1.15 / 2.2 | 0.22.0 | 0.22.0 |
| 0.21.2 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.3 |
| 0.21.0 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.0 |
| 0.15.0 | 2.16.0 | 0.14.0 | 1.15 / 2.0 | 0.15.0 | 0.15.0 |
| 0.14.0 | 2.14.0 | 0.14.0 | 1.14 | 0.14.0 | n/a |
| 0.13.0 | 2.11.0 | n/a | 1.13 | 0.12.1 | n/a |
| 0.12.0 | 2.10.0 | n/a | 1.12 | 0.12.0 | n/a |
| 0.11.0 | 2.8.0 | n/a | 1.11 | 0.9.0 | n/a |
| 0.9.0 | 2.6.0 | n/a | 1.9 | 0.9.0 | n/a |
| 0.8.0 | 2.5.0 | n/a | 1.8 | n/a | n/a |
| 0.6.0 | 2.4.0 | n/a | 1.6 | n/a | n/a |
| 0.5.0 | 2.3.0 | n/a | 1.5 | n/a | n/a |
| 0.4.0 | 2.2.0 | n/a | 1.4 | n/a | n/a |
| 0.3.1 | 2.1.1 | n/a | 1.3 | n/a | n/a |
| 0.3.0 | 2.1.1 | n/a | 1.3 | n/a | n/a |
| 0.1.10 | 2.0.0 | n/a | 1.0 | n/a | n/a |
প্রশ্ন
টেনসরফ্লো-ট্রান্সফর্ম ট্যাগ ব্যবহার করে স্ট্যাক ওভারফ্লোতে tf.Transform এর সাথে কাজ করার বিষয়ে যেকোনো প্রশ্ন করুন।