Libro di cucina di testo

Questa pagina elenca una serie di guide e strumenti noti che risolvono i problemi nel dominio di testo con TensorFlow Hub. È un punto di partenza per chiunque voglia risolvere i tipici problemi di machine learning utilizzando componenti di machine learning pre-addestrati piuttosto che partire da zero.

Classificazione

Quando vogliamo prevedere una classe per un dato esempio, ad esempio il sentimento, la tossicità, categoria di articoli, o qualsiasi altra caratteristica.

Grafico di classificazione del testo

I tutorial di seguito risolvono lo stesso compito da prospettive diverse e utilizzano strumenti diversi.

Keras

Classificazione Testo Keras - ad esempio per la costruzione di un sentimento classificatore IMDB con Keras e tensorflow set di dati.

Estimatore

Classificazione di testo - ad esempio per la costruzione di un sentimento classificatore IMDB con estimatore. Contiene più suggerimenti per il miglioramento e una sezione di confronto dei moduli.

BERTA

Predire Movie Review Sentiment con BERT su TF Hub - mostra come usare un modulo BERT per la classificazione. Include l'uso di bert libreria per tokenizzazione e la pre-elaborazione.

Kaggle

Classificazione IMDB su Kaggle - mostra come facilmente interagire con un concorso Kaggle da un Colab, incluso il download dei dati e presentazione dei risultati.

Estimatore Keras TF2 Set di dati TF BERTA API di Kaggle
Classificazione del testo fatto
Classificazione del testo con Keras fattofattofatto
Previsione del sentimento di revisione del film con BERT su TF Hub fattofatto
Classificazione IMDB su Kaggle fattofatto

Attività Bangla con incorporamenti FastText

TensorFlow Hub non offre attualmente un modulo in tutte le lingue. Il seguente tutorial mostra come sfruttare TensorFlow Hub per una sperimentazione rapida e uno sviluppo modulare di Machine Learning.

Bangla Articolo Classificatore - viene illustrato come creare un riutilizzabile embedding di testo tensorflow Hub, e utilizzarlo per formare un classificatore Keras per BARD Bangla art set di dati .

Somiglianza semantica

Quando vogliamo scoprire quali frasi sono correlate tra loro nella configurazione zero-shot (nessun esempio di allenamento).

Grafico di somiglianza semantica

Di base

Similarità semantica - mostra come usare il modulo encoder frase per frase calcolare similarità.

Cross-lingue

Cross-linguale similarità semantica - mostra come usare uno degli encoder frase cross-linguale per calcolare frase somiglianza tra le varie lingue.

Recupero semantico

Recupero semantico - mostra come usare Q / A encoder frase per indicizzare una raccolta di documenti per il recupero basati su similarità semantica.

Inserimento di un brano di frase

Similarità semantica con Universal lite encoder - mostra come usare i moduli encoder frase che accettano SentencePiece ids sull'ingresso al posto del testo.

Creazione del modulo

Invece di utilizzare solo i moduli on hub.tensorflow.google.cn , ci sono modi per creare propri moduli. Questo può essere uno strumento utile per una migliore modularità del codebase ML e per un'ulteriore condivisione.

Avvolgimento di incorporamenti pre-addestrati esistenti

Modulo embedding Testo esportatore - uno strumento per avvolgere un preesistente addestrato embedding in un modulo. Mostra come includere operazioni di pre-elaborazione del testo nel modulo. Ciò consente di creare un modulo di incorporamento di frasi da incorporamenti di token.

Testo modulo incorporamento esportatore v2 - come sopra, ma compatibile con tensorflow 2 ed esecuzione ansioso.