StringNGrams

clase final pública StringNGrams

Crea ngramas a partir de datos de cadenas irregulares.

Esta operación acepta un tensor irregular con 1 dimensión irregular que contiene solo cadenas y genera un tensor irregular con 1 dimensión irregular que contiene ngramas de esa cadena, unidos a lo largo del eje más interno.

Métodos públicos

estático <T extiende Número> StringNGrams <T>
crear ( Alcance alcance, Operando <String> datos, Operando <T> dataSplits, Separador de cadenas, List<Long> ngramWidths, String leftPad, String rightPad, Long padWidth, Boolean preserveShortSequences)
Método de fábrica para crear una clase que envuelve una nueva operación StringNGrams.
Salida <Cadena>
ngramas ()
El tensor de valores del tensor irregular de ngramas de salida.
Salida <T>
divisiones de ngramas ()
El tensor de divisiones del tensor irregular de los ngramas de salida.

Métodos Heredados

Métodos públicos

StringNGrams públicos estáticos <T> crear ( Ámbito alcance, Operando <String> datos, Operando <T> dataSplits, Separador de cadenas, List<Long> ngramWidths, String leftPad, String rightPad, Long padWidth, Boolean preserveShortSequences)

Método de fábrica para crear una clase que envuelve una nueva operación StringNGrams.

Parámetros
alcance alcance actual
datos El tensor de valores del tensor de cadena irregular para hacer ngramas. Debe ser un tensor de cuerda 1D.
divisiones de datos El tensor de divisiones del tensor de cuerda irregular para hacer ngramas.
separador La cadena que se agregará entre los elementos del token. Utilice "" sin separador.
anchos de ngram Los tamaños de los ngrams a crear.
pad izquierdo La cadena que se usará para rellenar el lado izquierdo de la secuencia de ngramas. Solo se usa si pad_width != 0.
pad derecho La cadena que se usará para rellenar el lado derecho de la secuencia de ngramas. Solo se usa si pad_width != 0.
padWidth El número de elementos de relleno para agregar a cada lado de cada secuencia. Tenga en cuenta que el relleno nunca será mayor que 'ngram_widths'-1 independientemente de este valor. Si `pad_width=-1`, agregue elementos `max(ngram_widths)-1`.
Devoluciones
  • una nueva instancia de StringNGrams

Salida pública <String> ngramas ()

El tensor de valores del tensor irregular de ngramas de salida.

salida pública <T> ngramsSplits ()

El tensor de divisiones del tensor irregular de los ngramas de salida.