Libro de cocina de texto

Esta página enumera un conjunto de guías y herramientas conocidas que resuelven problemas en el dominio de texto con TensorFlow Hub. Es un punto de partida para cualquiera que quiera resolver problemas típicos de aprendizaje automático utilizando componentes de aprendizaje automático previamente entrenados en lugar de comenzar desde cero.

Clasificación

Cuando queremos predecir una clase para un ejemplo dado, por ejemplo, el sentimiento, la toxicidad, la categoría de artículo, o cualquier otra característica.

Gráfico de clasificación de texto

Los tutoriales a continuación resuelven la misma tarea desde diferentes perspectivas y utilizan diferentes herramientas.

Keras

Clasificación de texto con Keras - ejemplo para la construcción de un clasificador sentimiento IMDB con Keras y TensorFlow conjuntos de datos.

Estimador

Clasificación de texto - ejemplo para la construcción de un clasificador sentimiento IMDB con Estimador. Contiene varios consejos de mejora y una sección de comparación de módulos.

BERT

Reseña de la película predecir sentimiento con BERT TF Hub - muestra cómo utilizar un módulo BERT para la clasificación. Incluye el uso de bert biblioteca para tokenización y procesamiento previo.

Kaggle

IMDB clasificación en Kaggle - muestra cómo interactúan fácilmente con un concurso Kaggle de un Colab, incluyendo la descarga de los datos y la presentación de los resultados.

Estimador Keras TF2 Conjuntos de datos TF BERT API de Kaggle
Clasificación de texto hecho
Clasificación de texto con Keras hechohechohecho
Predecir el sentimiento de revisión de películas con BERT en TF Hub hechohecho
Clasificación IMDB en Kaggle hechohecho

Tarea en bengalí con incrustaciones de FastText

Actualmente, TensorFlow Hub no ofrece un módulo en todos los idiomas. El siguiente instructivo muestra cómo aprovechar TensorFlow Hub para una experimentación rápida y un desarrollo modular de AA.

Bangla artículo Clasificador - muestra cómo crear una incrustación de texto TensorFlow Hub reutilizable, y lo utilizan para entrenar a un clasificador para Keras BARD Bangla artículo conjunto de datos .

Similitud semántica

Cuando queremos averiguar qué frases se correlacionan entre sí en la configuración de disparo cero (sin ejemplos de entrenamiento).

Gráfico de similitud semántica

Básico

Similitud semántica - muestra cómo usar el módulo codificador frase para calcular la similitud frase.

Translingual

Cruz-lingual similitud semántica - Muestra cómo utilizar uno de los codificadores de oraciones cruzada lingual para calcular la similitud entre las lenguas condena.

Recuperación semántica

La recuperación semántica - Muestra cómo utilizar Q / A codificador frase para indexar una colección de documentos para la recuperación basados en la similitud semántica.

Entrada de pieza de oración

Similitud semántica con Lite codificador universales - muestra cómo usar módulos codificadores frase que aceptan SentencePiece los identificadores de entrada en lugar de texto.

Creación de módulos

En lugar de utilizar sólo los módulos de hub.tensorflow.google.cn , hay maneras de crear propios módulos. Esta puede ser una herramienta útil para mejorar la modularidad de la base de código de ML y para compartir más.

Envolviendo incrustaciones existentes previamente entrenadas

Módulo de la incrustación de texto exportador - una herramienta para envolver una ya existente antes de la formación incrustar en un módulo. Muestra cómo incluir operaciones de preprocesamiento de texto en el módulo. Esto permite crear un módulo de incrustación de oraciones a partir de incrustaciones de tokens.

Texto módulo de la incrustación exportador v2 - Igual que el anterior, pero compatible con TensorFlow 2 y ejecución ansiosos.