O TensorFlow Text fornece uma coleção de classes e operações relacionadas a texto prontas para uso com o TensorFlow 2.0. A biblioteca pode realizar o pré-processamento regularmente exigido por modelos baseados em texto e inclui outros recursos úteis para modelagem de sequência não fornecidos pelo TensorFlow principal.
A vantagem de usar essas operações no pré-processamento de texto é que elas são feitas no gráfico do TensorFlow. Você não precisa se preocupar com o fato de a tokenização no treinamento ser diferente da tokenização na inferência ou do gerenciamento de scripts de pré-processamento.
Instale o texto do TensorFlow
Instalar usando pip
Ao instalar o TF Text com pip install, observe a versão do TensorFlow que você está executando, pois você deve especificar a versão correspondente do TF Text.
pip install -U tensorflow-text==<version>
Construir a partir da fonte
O TensorFlow Text deve ser criado no mesmo ambiente do TensorFlow. Portanto, se você criar o TF Text manualmente, é altamente recomendável que você também crie o TensorFlow.
Se estiver construindo no MacOS, você deverá ter o coreutils instalado. Provavelmente é mais fácil fazer isso com o Homebrew. Primeiro, crie o TensorFlow a partir do source .
Clone o repositório TF Text.
git clone https://github.com/tensorflow/text.git
Finalmente, execute o script de construção para criar um pacote pip.
./oss_scripts/run_build.sh