Учебная поваренная книга

На этой странице перечислены известные руководства и инструменты для решения проблем в текстовой области с помощью TensorFlow Hub. Это отправная точка для всех, кто хочет решать типичные проблемы машинного обучения с использованием предварительно обученных компонентов машинного обучения, а не начинать с нуля.

Классификация

Когда мы хотим предсказать , класс для данного примера, например , настроение, токсичность, категория статьи или любой другой характеристику.

Графика классификации текста

В приведенных ниже руководствах одна и та же задача решается с разных точек зрения и с использованием разных инструментов.

Керас

Текст классификация с Keras - пример для построения настроений классификатора IMDB с Keras и TensorFlow Datasets.

Оценщик

Текст классификация - пример для построения настроений классификатора IMDB с оценщиком. Содержит несколько советов по улучшению и раздел сравнения модулей.

БЕРТ

Предсказание настроений Обзор фильма с Бертом на TF Hub - показывает , как использовать модуль BERT для классификации. Включает в себя использование bert библиотеки для токенизации и предварительной обработки.

Kaggle

IMDB классификация по Kaggle - показывает , как легко взаимодействовать с конкуренцией Kaggle из Colab, включая загрузку данных и представления результатов.

Оценщик Керас TF2 Наборы данных TF БЕРТ Kaggle API
Классификация текста Выполнено
Классификация текста с помощью Keras ВыполненоВыполненоВыполнено
Прогнозирование настроений в обзорах фильмов с помощью BERT на TF Hub ВыполненоВыполнено
Классификация IMDB на Kaggle ВыполненоВыполнено

Задача Bangla с встраиванием FastText

В настоящее время TensorFlow Hub не предлагает модуль на всех языках. В следующем руководстве показано, как использовать TensorFlow Hub для быстрого экспериментирования и модульной разработки машинного обучения.

Bangla Статья Классификатор - демонстрирует , как создать многоразовый TensorFlow хаб текст вложения, и использовать его для обучения классификаторов Keras для барда Bangla статьи набора данных .

Семантическое сходство

Когда мы хотим выяснить, какие предложения коррелируют друг с другом в настройке с нулевым выстрелом (без обучающих примеров).

График семантического сходства

Базовый

Семантическое сходство - показывает , как использовать модуль предложения кодировщика для вычисления подобия приговора.

Кросс-язычный

Кросс-язычное семантическое сходство - показывает , как использовать один из кросса-язычных членов предложения кодеров на вычислительные предложения схожести между языками.

Семантический поиск

Семантический поиск - показывает , как использовать Q / ОНКОЗАБОЛЕВАНИЯ кодировщик индексировать коллекцию документов для поиска на основе семантического сходства.

Ввод предложения

Семантическое сходство с универсальным датчиком лайтом - показывает , как использовать модули предложения кодировщика , которые принимают SentencePiece идентификаторов на входе вместо текста.

Создание модуля

Вместо того , чтобы использовать только модули на hub.tensorflow.google.cn , есть способы создания собственных модулей. Это может быть полезным инструментом для улучшения модульности кодовой базы ML и для дальнейшего обмена.

Обертывание существующих предварительно обученных встраиваний

Встраивание модуль Text экспортер - инструмент , чтобы обернуть существующий предварительно обучен встраивания в модуль. Показывает, как включить в модуль операции предварительной обработки текста. Это позволяет создать модуль встраивания предложений из встраиваемых токенов.

Текст вложения модуль экспортер v2 - такое же , как и выше, но совместимы с TensorFlow 2 и ревностным исполнением.