Crea ngrams a partir de datos de cadenas irregulares.
Esta operación acepta un tensor irregular con 1 dimensión irregular que contiene solo cadenas y genera un tensor irregular con 1 dimensión irregular que contiene ngrams de esa cadena, unidos a lo largo del eje más interno.
Métodos públicos
estática <T extiende Número> StringNGrams <T> | |
Salida <String> | ngrams () El tensor de valores del tensor irregular de ngrams de salida. |
Salida <T> | ngramsSplits () El tensor de divisiones del tensor irregular de ngrams de salida. |
Métodos heredados
Métodos públicos
public static StringNGrams <T> create ( Scope scope, Operand <String> datos, Operand <T> dataSplits, String separator, List <Long> ngramWidths, String leftPad, String rightPad, Long padWidth, Boolean preserveShortSequences)
Método de fábrica para crear una clase que envuelva una nueva operación StringNGrams.
Parámetros
alcance | alcance actual |
---|---|
datos | El tensor de valores del tensor de cadena irregular para hacer ngrams. Debe ser un tensor de cuerda 1D. |
dataSplits | El tensor de divisiones del tensor de cuerda irregular del que se forman ngramas. |
separador | La cadena que se agregará entre los elementos del token. Utilice "" para ningún separador. |
ngramWidths | Los tamaños de los ngrams a crear. |
leftPad | La cadena que se utilizará para rellenar el lado izquierdo de la secuencia ngram. Solo se usa si pad_width! = 0. |
rightPad | La cadena que se utilizará para rellenar el lado derecho de la secuencia de ngram. Solo se usa si pad_width! = 0. |
padWidth | El número de elementos de relleno que se agregarán a cada lado de cada secuencia. Tenga en cuenta que el relleno nunca será mayor que 'ngram_widths'-1 independientemente de este valor. Si `pad_width = -1`, entonces agregue los elementos` max (ngram_widths) -1`. |
Devoluciones
- una nueva instancia de StringNGrams
Salida pública <T> ngramsSplits ()
El tensor de divisiones del tensor irregular de ngrams de salida.