Text | TensorFlow

TensorFlow 用のテキスト処理ツール

import tensorflow as tf
import tensorflow_text as tf_text

def preprocess(vocab_table, example_text):

  # Normalize text
  tf_text.normalize_utf8(example_text)

  # Tokenize into words
  word_tokenizer = tf_text.WhitespaceTokenizer()
  tokens = word_tokenizer.tokenize(example_text)

  # Tokenize into subwords
  subword_tokenizer = tf_text.WordpieceTokenizer(
       lookup_table, token_out_type=tf.int64)
  subtokens = subword_tokenizer.tokenize(tokens).merge_dims(1, -1)

  # Apply padding
  padded_inputs = tf_text.pad_model_inputs(subtokens, max_seq_length=16)
  return padded_inputs

TensorFlow には、未加工のテキスト文字列や文書など、テキスト形式の入力を処理するための豊富なオペレーションやライブラリが用意されています。これらのライブラリでは、テキストベースのモデルで定期的に必要とされる前処理を行うことができ、シーケンスモデリングに有用なその他の機能も含まれています。

TensorFlow グラフの内部から強力な構文的および意味的テキスト特徴を抽出し、これらの特徴をニューラルネットワークへの入力として使用することができます。

前処理を TensorFlow のグラフと統合することで、次のようなメリットがあります。