TensorFlow Text предоставляет коллекцию классов и операций, связанных с текстом, готовых к использованию с TensorFlow 2.0. Библиотека может выполнять предварительную обработку, регулярно необходимую для текстовых моделей, и включает в себя другие функции, полезные для моделирования последовательностей, не предусмотренные ядром TensorFlow.
Преимущество использования этих операций при предварительной обработке текста заключается в том, что они выполняются в графе TensorFlow. Вам не нужно беспокоиться о том, что токенизация при обучении отличается от токенизации при выводе или управлении сценариями предварительной обработки.
Установить текст TensorFlow
Установить с помощью pip
При установке TF Text с помощью pip install обратите внимание на версию TensorFlow, которую вы используете, поскольку вам следует указать соответствующую версию TF Text.
pip install -U tensorflow-text==<version>
Сборка из исходного кода
TensorFlow Text должен быть создан в той же среде, что и TensorFlow. Таким образом, если вы вручную собираете TF Text, настоятельно рекомендуется также собрать TensorFlow.
При сборке на MacOS у вас должен быть установлен coreutils. Наверное, проще всего это сделать с помощью Homebrew. Сначала соберите TensorFlow из исходников .
Клонируйте репозиторий TF Text.
git clone https://github.com/tensorflow/text.git
Наконец, запустите сценарий сборки, чтобы создать пакет pip.
./oss_scripts/run_build.sh