Teks TensorFlow menyediakan kumpulan kelas dan operasi terkait teks yang siap digunakan dengan TensorFlow 2.0. Pustaka dapat melakukan prapemrosesan secara rutin yang diperlukan oleh model berbasis teks, dan menyertakan fitur lain yang berguna untuk pemodelan urutan yang tidak disediakan oleh inti TensorFlow.
Manfaat menggunakan operasi ini dalam prapemrosesan teks Anda adalah bahwa operasi tersebut dilakukan dalam grafik TensorFlow. Anda tidak perlu khawatir tentang tokenisasi dalam pelatihan yang berbeda dari tokenisasi pada inferensi, atau mengelola skrip prapemrosesan.
Instal Teks TensorFlow
Instal menggunakan pip
Saat menginstal TF Text dengan pip install, perhatikan versi TensorFlow yang Anda jalankan, karena Anda harus menentukan versi TF Text yang sesuai.
pip install -U tensorflow-text==<version>
Bangun dari sumber
Teks TensorFlow harus dibuat di lingkungan yang sama dengan TensorFlow. Jadi, jika Anda membuat TF Text secara manual, sangat disarankan agar Anda juga membangun TensorFlow.
Jika membangun di MacOS, Anda harus menginstal coreutils. Ini mungkin paling mudah dilakukan dengan Homebrew. Pertama, membangun TensorFlow dari sumber .
Kloning repo Teks TF.
git clone https://github.com/tensorflow/text.git
Terakhir, jalankan skrip build untuk membuat paket pip.
./oss_scripts/run_build.sh