TensorFlow Text มีคอลเลกชันของคลาสที่เกี่ยวข้องกับข้อความและการดำเนินการที่พร้อมใช้งานกับ TensorFlow 2.0 ไลบรารีสามารถทำการประมวลผลล่วงหน้าซึ่งจำเป็นสำหรับโมเดลแบบข้อความเป็นประจำ และมีคุณสมบัติอื่นๆ ที่เป็นประโยชน์สำหรับการสร้างแบบจำลองลำดับที่ไม่ได้มาจาก Core TensorFlow
ประโยชน์ของการใช้ Ops เหล่านี้ในการประมวลผลข้อความล่วงหน้าคือทำได้ในกราฟ TensorFlow คุณไม่จำเป็นต้องกังวลเกี่ยวกับโทเค็นไลเซชันในการฝึกอบรมที่แตกต่างจากโทเค็นไลเซชันในการอนุมาน หรือการจัดการสคริปต์การประมวลผลล่วงหน้า
ติดตั้งข้อความ TensorFlow
ติดตั้งโดยใช้ pip
เมื่อติดตั้ง TF Text ด้วยการติดตั้ง pip ให้จดเวอร์ชันของ TensorFlow ที่คุณใช้งานอยู่ เนื่องจากคุณควรระบุเวอร์ชัน TF Text ที่เกี่ยวข้อง
pip install -U tensorflow-text==<version>
สร้างจากแหล่งที่มา
TensorFlow Text ต้องสร้างขึ้นในสภาพแวดล้อมเดียวกันกับ TensorFlow ดังนั้น หากคุณสร้าง TF Text ด้วยตนเอง ขอแนะนำเป็นอย่างยิ่งให้คุณสร้าง TensorFlow ด้วย
หากสร้างบน MacOS คุณต้องติดตั้ง coreutils มันอาจจะง่ายที่สุดที่จะทำกับ Homebrew ขั้นแรก สร้าง TensorFlow จากแหล่งที่มา
โคลน repo ข้อความ TF
git clone https://github.com/tensorflow/text.git
สุดท้าย ให้รันสคริปต์บิลด์เพื่อสร้างแพ็คเกจ pip
./oss_scripts/run_build.sh