Questa pagina elenca una serie di guide e strumenti noti che risolvono i problemi nel dominio di testo con TensorFlow Hub. È un punto di partenza per chiunque voglia risolvere i tipici problemi di machine learning utilizzando componenti di machine learning pre-addestrati piuttosto che partire da zero.
Classificazione
Quando vogliamo prevedere una classe per un dato esempio, ad esempio il sentimento, la tossicità, categoria di articoli, o qualsiasi altra caratteristica.
I tutorial di seguito risolvono lo stesso compito da prospettive diverse e utilizzano strumenti diversi.
Keras
Classificazione Testo Keras - ad esempio per la costruzione di un sentimento classificatore IMDB con Keras e tensorflow set di dati.
Estimatore
Classificazione di testo - ad esempio per la costruzione di un sentimento classificatore IMDB con estimatore. Contiene più suggerimenti per il miglioramento e una sezione di confronto dei moduli.
BERTA
Predire Movie Review Sentiment con BERT su TF Hub - mostra come usare un modulo BERT per la classificazione. Include l'uso di bert libreria per tokenizzazione e la pre-elaborazione.
Kaggle
Classificazione IMDB su Kaggle - mostra come facilmente interagire con un concorso Kaggle da un Colab, incluso il download dei dati e presentazione dei risultati.
| Estimatore | Keras | TF2 | Set di dati TF | BERTA | API di Kaggle | |
|---|---|---|---|---|---|---|
| Classificazione del testo |  | |||||
| Classificazione del testo con Keras | | | | |||
| Previsione del sentimento di revisione del film con BERT su TF Hub | | | ||||
| Classificazione IMDB su Kaggle | | |
Attività Bangla con incorporamenti FastText
TensorFlow Hub non offre attualmente un modulo in tutte le lingue. Il seguente tutorial mostra come sfruttare TensorFlow Hub per una sperimentazione rapida e uno sviluppo modulare di Machine Learning.
Bangla Articolo Classificatore - viene illustrato come creare un riutilizzabile embedding di testo tensorflow Hub, e utilizzarlo per formare un classificatore Keras per BARD Bangla art set di dati .
Somiglianza semantica
Quando vogliamo scoprire quali frasi sono correlate tra loro nella configurazione zero-shot (nessun esempio di allenamento).
Di base
Similarità semantica - mostra come usare il modulo encoder frase per frase calcolare similarità.
Cross-lingue
Cross-linguale similarità semantica - mostra come usare uno degli encoder frase cross-linguale per calcolare frase somiglianza tra le varie lingue.
Recupero semantico
Recupero semantico - mostra come usare Q / A encoder frase per indicizzare una raccolta di documenti per il recupero basati su similarità semantica.
Inserimento di un brano di frase
Similarità semantica con Universal lite encoder - mostra come usare i moduli encoder frase che accettano SentencePiece ids sull'ingresso al posto del testo.
Creazione del modulo
Invece di utilizzare solo i moduli on hub.tensorflow.google.cn , ci sono modi per creare propri moduli. Questo può essere uno strumento utile per una migliore modularità del codebase ML e per un'ulteriore condivisione.
Avvolgimento di incorporamenti pre-addestrati esistenti
Modulo embedding Testo esportatore - uno strumento per avvolgere un preesistente addestrato embedding in un modulo. Mostra come includere operazioni di pre-elaborazione del testo nel modulo. Ciò consente di creare un modulo di incorporamento di frasi da incorporamenti di token.
Testo modulo incorporamento esportatore v2 - come sopra, ma compatibile con tensorflow 2 ed esecuzione ansioso.