KerasNLP
Cara termudah untuk mulai memproses teks di TensorFlow adalah dengan menggunakan KerasNLP, pustaka pemrosesan bahasa alami yang menyediakan komponen modular dengan bobot dan arsitektur prasetel yang canggih. Anda dapat menggunakan komponen KerasNLP di luar kotak atau menyesuaikannya sesuai kebutuhan. KerasNLP menekankan komputasi dalam grafik untuk semua alur kerja, sehingga Anda dapat mengharapkan produksi yang mudah menggunakan ekosistem TensorFlow.
Untuk menginstal KerasNLP, lihat Instalasi .
Teks TensorFlow
Paket tensorflow_text menyediakan kumpulan kelas terkait teks dan operasi yang siap digunakan dengan TensorFlow. Pustaka dapat melakukan prapemrosesan secara teratur yang diperlukan oleh model berbasis teks, dan menyertakan fitur lain yang berguna untuk pemodelan urutan yang tidak disediakan oleh inti TensorFlow.
Untuk detail pemasangan, lihat panduan
Model TensorFlow - NLP
Repositori Model TensorFlow menyediakan implementasi model canggih (SOTA). Paket pip tensorflow-models-official mencakup banyak fungsi dan kelas tingkat tinggi untuk membangun model SOTA NLP termasuk nlp.layers , nlp.losses , nlp.models dan nlp.tasks .
Anda dapat menginstal paket dengan pip :
$ pip install tensorflow-models-official # For the latest release
$ #or
$ pip install tf-models-nightly # For the nightly build
Fungsionalitas NLP tersedia di submodul tfm.nlp .
import tensorflow_models as tfm
tfm.nlp