Livro de receitas

Esta página lista um conjunto de guias e ferramentas conhecidas para solucionar problemas no domínio de texto com o TensorFlow Hub. É um ponto de partida para qualquer pessoa que queira resolver problemas típicos de ML usando componentes de ML pré-treinados em vez de começar do zero.

Classificação

Quando queremos prever uma classe para um determinado exemplo, por exemplo sentimento, toxicidade, categoria de artigo, ou qualquer outra característica.

Gráfico de Classificação de Texto

Os tutoriais abaixo estão resolvendo a mesma tarefa de diferentes perspectivas e usando diferentes ferramentas.

Keras

Classificação Texto Keras - exemplo para a construção de um classificador sentimento IMDB com Keras e TensorFlow conjuntos de dados.

Estimador

Classificação de texto - exemplo para a construção de um sentimento de classificador IMDB com Estimador. Contém várias dicas para melhoria e uma seção de comparação de módulo.

BERT

Prevendo Movie Review Sentiment com BERT em TF Hub - mostra como usar um módulo BERT para a classificação. Inclui o uso de bert biblioteca para tokenization e pré-processamento.

Kaggle

Classificação IMDB on Kaggle - mostra como facilmente interagir com uma competição Kaggle de um Colab, incluindo o download dos dados e apresentação dos resultados.

Estimador Keras TF2 Conjuntos de dados TF BERT APIs Kaggle
Classificação de texto feito
Classificação de texto com Keras feitofeitofeito
Previsão do sentimento da crítica do filme com BERT no TF Hub feitofeito
Classificação IMDB no Kaggle feitofeito

Tarefa Bangla com embeddings FastText

Atualmente, o TensorFlow Hub não oferece um módulo em todos os idiomas. O tutorial a seguir mostra como aproveitar o TensorFlow Hub para experimentação rápida e desenvolvimento de ML modular.

Bangla artigo Classificador - demonstra como criar um reutilizáveis incorporação texto TensorFlow Hub, e usá-lo para treinar um classificador Keras para BARD Bangla artigo conjunto de dados .

Similaridade semântica

Quando queremos descobrir quais frases se correlacionam entre si na configuração de tiro zero (sem exemplos de treinamento).

Gráfico de similaridade semântica

Básico

Semelhança semântica - mostra como usar o módulo de encoder sentença para calcular frase similaridade.

Cross-lingual

Cross-lingual semelhança semântica - mostra como usar um dos codificadores frase cross-lingual para calcular frase semelhança entre as línguas.

Recuperação semântica

Recuperação semântica - mostra como usar Q / A encoder sentença para indexar uma coleção de documentos para recuperação com base na semelhança semântica.

Entrada de frase por peça

Semelhança semântica com Lite codificador universal - mostra como usar módulos codificadores frase que aceitam SentencePiece ids na entrada em vez de texto.

Criação de módulo

Em vez de usar apenas os módulos em hub.tensorflow.google.cn , existem maneiras de criar próprios módulos. Essa pode ser uma ferramenta útil para melhorar a modularidade da base de código do ML e para maior compartilhamento.

Envolvendo embeddings pré-treinados existentes

Texto módulo de embutir exportador - uma ferramenta para embrulhar um já existente pré-treinados incorporar em um módulo. Mostra como incluir operações de pré-processamento de texto no módulo. Isso permite criar um módulo de incorporação de frases a partir de embeddings de tokens.

Texto módulo de embutir exportador v2 - mesmo que acima, mas compatível com TensorFlow 2 e execução ansioso.