tensorflow :: operaciones :: StringNGrams

#include <string_ops.h>

Crea ngrams a partir de datos de cadenas irregulares.

Resumen

Esta operación acepta un tensor irregular con 1 dimensión irregular que contiene solo cadenas y genera un tensor irregular con 1 dimensión irregular que contiene ngrams de esa cadena, unidos a lo largo del eje más interno.

Argumentos:

  • alcance: un objeto de alcance
  • datos: el tensor de valores del tensor de cadena irregular del que se forman ngramas. Debe ser un tensor de cuerda 1D.
  • data_splits: el tensor de divisiones del tensor de cadena irregular para hacer ngrams.
  • separador: la cadena que se agregará entre los elementos del token. Utilice "" para ningún separador.
  • ngram_widths: Los tamaños de los ngrams a crear.
  • left_pad: la cadena que se utilizará para rellenar el lado izquierdo de la secuencia ngram. Solo se usa si pad_width! = 0.
  • right_pad: la cadena que se utilizará para rellenar el lado derecho de la secuencia ngram. Solo se usa si pad_width! = 0.
  • pad_width: el número de elementos de relleno para agregar a cada lado de cada secuencia. Tenga en cuenta que el relleno nunca será mayor que 'ngram_widths'-1 independientemente de este valor. Si pad_width=-1 , agregue max(ngram_widths)-1 elementos.

Devoluciones:

  • Ngrams de Output : el tensor de valores del tensor irregular de ngrams de salida.
  • Output ngrams_splits: el tensor de divisiones del tensor irregular de ngrams de salida.

Constructores y Destructores

StringNGrams (const :: tensorflow::Scope & scope, :: tensorflow::Input data, :: tensorflow::Input data_splits, StringPiece separator, const gtl::ArraySlice< int > & ngram_widths, StringPiece left_pad, StringPiece right_pad, int64 pad_width, bool preserve_short_sequences)

Atributos públicos

ngrams
ngrams_splits
operation

Atributos públicos

ngramas

::tensorflow::Output ngrams

ngrams_splits

::tensorflow::Output ngrams_splits

operación

Operation operation

Funciones publicas

StringNGrams

 StringNGrams(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input data,
  ::tensorflow::Input data_splits,
  StringPiece separator,
  const gtl::ArraySlice< int > & ngram_widths,
  StringPiece left_pad,
  StringPiece right_pad,
  int64 pad_width,
  bool preserve_short_sequences
)