TensorFlow Text menyediakan kumpulan kelas dan operasi terkait teks yang siap digunakan dengan TensorFlow 2.0. Library ini dapat melakukan prapemrosesan secara berkala yang diperlukan oleh model berbasis teks, dan menyertakan fitur lain yang berguna untuk pemodelan urutan yang tidak disediakan oleh inti TensorFlow.
Manfaat menggunakan operasi ini dalam prapemrosesan teks Anda adalah operasi ini dilakukan dalam grafik TensorFlow. Anda tidak perlu khawatir tentang tokenisasi dalam pelatihan yang berbeda dari tokenisasi pada inferensi, atau mengelola skrip prapemrosesan.
Instal Teks TensorFlow
Instal menggunakan pip
Saat memasang Teks TF dengan pip install, catat versi TensorFlow yang Anda jalankan, karena Anda harus menentukan versi Teks TF yang sesuai.
pip install -U tensorflow-text==<version>
Bangun dari sumber
Teks TensorFlow harus dibuat di lingkungan yang sama dengan TensorFlow. Oleh karena itu, jika Anda membuat Teks TF secara manual, sangat disarankan agar Anda juga membuat TensorFlow.
Jika membangun di MacOS, Anda harus menginstal coreutils. Ini mungkin paling mudah dilakukan dengan Homebrew. Pertama, buat TensorFlow dari sumber .
Kloning repo Teks TF.
git clone https://github.com/tensorflow/text.git
Terakhir, jalankan skrip build untuk membuat paket pip.
./oss_scripts/run_build.sh