Klasyfikacja tekstu

Użyj modelu TensorFlow Lite, aby podzielić akapit na predefiniowane grupy.

Zaczynaj

Jeśli dopiero zaczynasz korzystać z TensorFlow Lite i pracujesz z Androidem, zalecamy zapoznanie się z przewodnikiem po bibliotece zadań TensorFLow Lite, aby zintegrować modele klasyfikacji tekstu w zaledwie kilku wierszach kodu. Model można także zintegrować za pomocą interfejsu API języka Java TensorFlow Lite Interpreter .

Poniższy przykład Androida ilustruje implementację obu metod, odpowiednio, lib_task_api i lib_interpreter .

Przykład Androida

Jeśli korzystasz z platformy innej niż Android lub znasz już API TensorFlow Lite, możesz pobrać nasz startowy model klasyfikacji tekstu.

Pobierz model startowy

Jak to działa

Klasyfikacja tekstu dzieli akapit na predefiniowane grupy na podstawie jego treści.

Ten wstępnie wyszkolony model przewiduje, czy opinia akapitu jest pozytywna czy negatywna. Został przeszkolony w oparciu o zestaw danych Large Movie Review Dataset v1.0 firmy Mass et al., który składa się z recenzji filmów IMDB oznaczonych jako pozytywne lub negatywne.

Oto kroki, aby sklasyfikować akapit za pomocą modelu:

  1. Tokenizuj akapit i konwertuj go na listę identyfikatorów słów, korzystając z predefiniowanego słownictwa.
  2. Podaj listę do modelu TensorFlow Lite.
  3. Uzyskaj prawdopodobieństwo, że akapit będzie dodatni lub ujemny na podstawie wyników modelu.

Notatka

  • Obsługiwany jest tylko język angielski.
  • Model ten został wytrenowany na zbiorze danych z recenzjami filmów, więc klasyfikacja tekstu z innych domen może powodować mniejszą dokładność.

Benchmarki wydajności

Wartości porównawcze wydajności są generowane za pomocą narzędzia opisanego tutaj .

Nazwa modelu Rozmiar modelu Urządzenie procesor
Klasyfikacja tekstu 0,6 Mb Piksel 3 (Android 10) 0,05 ms*
Piksel 4 (Android 10) 0,05 ms*
iPhone XS (iOS 12.4.1) 0,025 ms**

* Wykorzystano 4 wątki.

** 2 wątki używane w iPhonie w celu uzyskania najlepszego wyniku.

Przykładowe wyjście

Tekst Negatywne (0) Pozytywne (1)
To najlepszy film, jaki widziałem w ostatnich latach. Gorąco polecam! 25,3% 74,7%
Co za strata mojego czasu. 72,5% 27,5%

Skorzystaj ze swojego zbioru danych szkoleniowych

Skorzystaj z tego samouczka , aby zastosować tę samą technikę, która została użyta w tym miejscu do uczenia modelu klasyfikacji tekstu przy użyciu własnych zestawów danych. Mając odpowiedni zbiór danych, możesz stworzyć model dla przypadków użycia, takich jak kategoryzacja dokumentów czy wykrywanie toksycznych komentarzy.

Przeczytaj więcej o klasyfikacji tekstu