Przewodnik po przetwarzaniu tekstu TensorFlow

Przewodnik po przetwarzaniu tekstu TensorFlow dokumentuje biblioteki i przepływy pracy dla przetwarzania języka naturalnego (NLP) i wprowadza ważne koncepcje dotyczące pracy z tekstem.

KerasNLP

KerasNLP to biblioteka wysokiego poziomu przetwarzania języka naturalnego (NLP), która zawiera wszystkie najnowsze modele oparte na Transformer, a także narzędzia tokenizacji niższego poziomu. Jest to zalecane rozwiązanie dla większości przypadków użycia NLP.

• Pierwsze kroki z KerasNLP : Naucz się KerasNLP, przeprowadzając analizę nastrojów na kolejnych poziomach złożoności, od korzystania z wstępnie wytrenowanego modelu po zbudowanie własnego Transformera od podstaw.

tf.strings

Moduł tf.strings zapewnia operacje do pracy z tensorami ciągów.

• Ciągi znaków Unicode : Reprezentuj ciągi znaków Unicode w TensorFlow i manipuluj nimi przy użyciu odpowiedników standardowych operacji ciągów w standardzie Unicode.

Tekst TensorFlow

Jeśli potrzebujesz dostępu do narzędzi do przetwarzania tekstu niższego poziomu, możesz użyć TensorFlow Text. TensorFlow Text zapewnia zbiór operacji i bibliotek, które pomogą Ci pracować z danymi wejściowymi w formie tekstowej, takiej jak nieprzetworzone ciągi tekstowe lub dokumenty.

• Wprowadzenie do TensorFlow Text : Dowiedz się, jak zainstalować TensorFlow Text lub zbudować go ze źródła.
• Konwertowanie operatorów TensorFlow Text na TensorFlow Lite : Konwertuj model TensorFlow Text na TensorFlow Lite w celu wdrożenia na urządzeniach mobilnych, wbudowanych i IoT.

Wstępne przetwarzanie

• Przetwarzanie wstępne BERT z tekstem TF : Użyj operacji wstępnego przetwarzania tekstu TensorFlow, aby przekształcić dane tekstowe w dane wejściowe dla BERT.
• Tokenizacja za pomocą tekstu TF : zapoznaj się z opcjami tokenizacji zapewnianymi przez TensorFlow Text. Dowiedz się, kiedy możesz chcieć użyć jednej opcji zamiast innej i jak te tokenizery są wywoływane z poziomu Twojego modelu.
• Tokenizery słów podrzędnych : wygeneruj słownik słów podrzędnych z zestawu danych i użyj go do zbudowania text.BertTokenizer ze słownika.

Modele TensorFlow – NLP

Biblioteka TensorFlow Models — NLP udostępnia prymitywy Keras, które można łączyć w modele oparte na transformatorach, oraz klasy rusztowań, które umożliwiają łatwe eksperymentowanie z nowatorskimi architekturami.

• Wprowadzenie do biblioteki TensorFlow Models NLP : Twórz modele oparte na Transformer do typowych zadań NLP, w tym wstępnego uczenia, etykietowania zakresu i klasyfikacji, używając bloków konstrukcyjnych z biblioteki modelowania NLP .
• Dostosowywanie enkodera transformatora : Dostosuj tfm.nlp.networks.EncoderScaffold , dwukierunkowe rusztowanie sieciowe enkodera oparte na transformatorach, aby zastosować nowe architektury sieciowe.