การแปลงเทนเซอร์โฟลว์, การแปลงเทนเซอร์โฟลว์

ดูบน GitHub

TensorFlow Transform เป็นไลบรารีสำหรับประมวลผลข้อมูลล่วงหน้าด้วย TensorFlow tf.Transform มีประโยชน์สำหรับข้อมูลที่ต้องมีการส่งผ่านแบบเต็ม เช่น:

• ทำให้ค่าอินพุตเป็นมาตรฐานด้วยค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐาน
• แปลงสตริงให้เป็นจำนวนเต็มโดยการสร้างคำศัพท์บนค่าอินพุตทั้งหมด
• แปลงจำนวนทศนิยมเป็นจำนวนเต็มโดยกำหนดให้กับที่เก็บข้อมูลตามการกระจายข้อมูลที่สังเกตได้

TensorFlow มีการสนับสนุนในตัวสำหรับการปรับแต่งตัวอย่างเดียวหรือเป็นกลุ่ม tf.Transform ขยายความสามารถเหล่านี้เพื่อรองรับการส่งผ่านข้อมูลตัวอย่างแบบเต็ม

ผลลัพธ์ของ tf.Transform จะถูกส่งออกเป็น กราฟ TensorFlow เพื่อใช้สำหรับการฝึกอบรมและการให้บริการ การใช้กราฟเดียวกันสำหรับทั้งการฝึกและการเสิร์ฟสามารถป้องกันการบิดเบือนได้ เนื่องจากมีการใช้การเปลี่ยนแปลงเดียวกันในทั้งสองขั้นตอน

สำหรับข้อมูลเบื้องต้นเกี่ยวกับ tf.Transform โปรดดูส่วน tf.Transform ของการพูดคุยของ TFX Dev Summit เกี่ยวกับ TFX ( ลิงก์ )

การติดตั้ง

แพ็คเกจ PyPI ของ tensorflow-transform เป็นวิธีที่แนะนำในการติดตั้ง tf.Transform :

pip install tensorflow-transform

สร้าง TFT จากแหล่งที่มา

เมื่อต้องการสร้างจากแหล่งที่มาให้ทำตามขั้นตอนต่อไปนี้: สร้างสภาพแวดล้อมเสมือนโดยการรันคำสั่ง

python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/transform.git
cd transform
python3 setup.py bdist_wheel

สิ่งนี้จะสร้างวงล้อ TFT ในไดเร็กทอรี dist ในการติดตั้งวงล้อจากไดเร็กทอรี dist ให้รันคำสั่ง

cd dist
pip3 install tensorflow_transform-<version>-py3-none-any.whl

แพ็คเกจกลางคืน

TFT ยังโฮสต์แพ็คเกจยามค่ำคืนที่ https://pypi-nightly.tensorflow.org บน Google Cloud หากต้องการติดตั้งแพ็คเกจรายคืนล่าสุด โปรดใช้คำสั่งต่อไปนี้:

pip install --extra-index-url https://pypi-nightly.tensorflow.org/simple tensorflow-transform

สิ่งนี้จะติดตั้งแพ็คเกจรายคืนสำหรับการพึ่งพาที่สำคัญของ TFT เช่น TensorFlow Metadata (TFMD), TFX Basic Shared Libraries (TFX-BSL)

หมายเหตุ: แพ็คเกจกลางคืนเหล่านี้ไม่เสถียรและอาจเกิดการแตกหักได้ การแก้ไขมักใช้เวลาหนึ่งสัปดาห์หรือมากกว่านั้น ขึ้นอยู่กับความซับซ้อนที่เกี่ยวข้อง

การพึ่งพาอาศัยกันที่โดดเด่น

ต้องใช้ TensorFlow

จำเป็นต้องมี Apache Beam เป็นวิธีการสนับสนุนการคำนวณแบบกระจายที่มีประสิทธิภาพ ตามค่าเริ่มต้น Apache Beam จะทำงานในโหมดภายในเครื่อง แต่ยังสามารถทำงานในโหมดกระจายโดยใช้ Google Cloud Dataflow และ Apache Beam runners อื่นๆ ได้ด้วย

จำเป็นต้องมี Apache Arrow ด้วย TFT ใช้ Arrow เพื่อแสดงข้อมูลภายในเพื่อใช้ฟังก์ชันตัวเลขแบบเวกเตอร์

รุ่นที่เข้ากันได้

ตารางต่อไปนี้คือเวอร์ชันแพ็คเกจ tf.Transform ที่เข้ากันได้ สิ่งนี้กำหนดโดยกรอบการทดสอบของเรา แต่ชุดค่าผสม ที่ยังไม่ทดสอบ อื่นๆ อาจใช้งานได้เช่นกัน

การแปลงเทนเซอร์โฟลว์	apache-คาน [gcp]	เปียร์โรว์	เทนเซอร์โฟลว์	เมตาดาต้าเทนเซอร์โฟลว์	tfx-bsl
ต้นแบบ GitHub	2.47.0	10.0.0	ทุกคืน (2.x)	1.15.0	1.15.1
1.15.0	2.47.0	10.0.0	2.15	1.15.0	1.15.1
1.14.0	2.47.0	10.0.0	2.13	1.14.0	1.14.0
1.13.0	2.41.0	6.0.0	2.12	1.13.1	1.13.0
1.12.0	2.41.0	6.0.0	2.11	1.12.0	1.12.0
1.11.0	2.41.0	6.0.0	1.15.5 / 2.10	1.11.0	1.11.0
1.10.0	2.40.0	6.0.0	1.15.5 / 2.9	1.10.0	1.10.0
1.9.0	2.38.0	5.0.0	1.15.5 / 2.9	1.9.0	1.9.0
1.8.0	2.38.0	5.0.0	1.15.5 / 2.8	1.8.0	1.8.0
1.7.0	2.36.0	5.0.0	1.15.5 / 2.8	1.7.0	1.7.0
1.6.1	2.35.0	5.0.0	1.15.5 / 2.8	1.6.0	1.6.0
1.6.0	2.35.0	5.0.0	1.15.5 / 2.7	1.6.0	1.6.0
1.5.0	2.34.0	5.0.0	1.15.2 / 2.7	1.5.0	1.5.0
1.4.1	2.33.0	4.0.1	1.15.2 / 2.6	1.4.0	1.4.0
1.4.0	2.33.0	4.0.1	1.15.2 / 2.6	1.4.0	1.4.0
1.3.0	2.31.0	2.0.0	1.15.2 / 2.6	1.2.0	1.3.0
1.2.0	2.31.0	2.0.0	1.15.2 / 2.5	1.2.0	1.2.0
1.1.1	2.29.0	2.0.0	1.15.2 / 2.5	1.1.0	1.1.1
1.1.0	2.29.0	2.0.0	1.15.2 / 2.5	1.1.0	1.1.0
1.0.0	2.29.0	2.0.0	1.15 / 2.5	1.0.0	1.0.0
0.30.0	2.28.0	2.0.0	1.15 / 2.4	0.30.0	0.30.0
0.29.0	2.28.0	2.0.0	1.15 / 2.4	0.29.0	0.29.0
0.28.0	2.28.0	2.0.0	1.15 / 2.4	0.28.0	0.28.1
0.27.0	2.27.0	2.0.0	1.15 / 2.4	0.27.0	0.27.0
0.26.0	2.25.0	0.17.0	1.15 / 2.3	0.26.0	0.26.0
0.25.0	2.25.0	0.17.0	1.15 / 2.3	0.25.0	0.25.0
0.24.1	2.24.0	0.17.0	1.15 / 2.3	0.24.0	0.24.1
0.24.0	2.23.0	0.17.0	1.15 / 2.3	0.24.0	0.24.0
0.23.0	2.23.0	0.17.0	1.15 / 2.3	0.23.0	0.23.0
0.22.0	2.20.0	0.16.0	1.15 / 2.2	0.22.0	0.22.0
0.21.2	2.17.0	0.15.0	1.15 / 2.1	0.21.0	0.21.3
0.21.0	2.17.0	0.15.0	1.15 / 2.1	0.21.0	0.21.0
0.15.0	2.16.0	0.14.0	1.15 / 2.0	0.15.0	0.15.0
0.14.0	2.14.0	0.14.0	1.14	0.14.0	ไม่มี
0.13.0	2.11.0	ไม่มี	1.13	0.12.1	ไม่มี
0.12.0	2.10.0	ไม่มี	1.12	0.12.0	ไม่มี
0.11.0	2.8.0	ไม่มี	1.11	0.9.0	ไม่มี
0.9.0	2.6.0	ไม่มี	1.9	0.9.0	ไม่มี
0.8.0	2.5.0	ไม่มี	1.8	ไม่มี	ไม่มี
0.6.0	2.4.0	ไม่มี	1.6	ไม่มี	ไม่มี
0.5.0	2.3.0	ไม่มี	1.5	ไม่มี	ไม่มี
0.4.0	2.2.0	ไม่มี	1.4	ไม่มี	ไม่มี
0.3.1	2.1.1	ไม่มี	1.3	ไม่มี	ไม่มี
0.3.0	2.1.1	ไม่มี	1.3	ไม่มี	ไม่มี
0.1.10	2.0.0	ไม่มี	1.0	ไม่มี	ไม่มี

คำถาม

โปรดส่งคำถามใดๆ เกี่ยวกับการทำงานกับ tf.Transform เป็น Stack Overflow โดยใช้แท็ก tensorflow-transform