Crea ngramas a partir de datos de cadenas irregulares.
Esta operación acepta un tensor irregular con 1 dimensión irregular que contiene solo cadenas y genera un tensor irregular con 1 dimensión irregular que contiene ngramas de esa cadena, unidos a lo largo del eje más interno.
Métodos públicos
estático <T extiende Número> StringNGrams <T> | |
Salida <Cadena> | ngramas () El tensor de valores del tensor irregular de ngramas de salida. |
Salida <T> | divisiones de ngramas () El tensor de divisiones del tensor irregular de los ngramas de salida. |
Métodos Heredados
Métodos públicos
StringNGrams públicos estáticos <T> crear ( Ámbito alcance, Operando <String> datos, Operando <T> dataSplits, Separador de cadenas, List<Long> ngramWidths, String leftPad, String rightPad, Long padWidth, Boolean preserveShortSequences)
Método de fábrica para crear una clase que envuelve una nueva operación StringNGrams.
Parámetros
alcance | alcance actual |
---|---|
datos | El tensor de valores del tensor de cadena irregular para hacer ngramas. Debe ser un tensor de cuerda 1D. |
divisiones de datos | El tensor de divisiones del tensor de cuerda irregular para hacer ngramas. |
separador | La cadena que se agregará entre los elementos del token. Utilice "" sin separador. |
anchos de ngram | Los tamaños de los ngrams a crear. |
pad izquierdo | La cadena que se usará para rellenar el lado izquierdo de la secuencia de ngramas. Solo se usa si pad_width != 0. |
pad derecho | La cadena que se usará para rellenar el lado derecho de la secuencia de ngramas. Solo se usa si pad_width != 0. |
padWidth | El número de elementos de relleno para agregar a cada lado de cada secuencia. Tenga en cuenta que el relleno nunca será mayor que 'ngram_widths'-1 independientemente de este valor. Si `pad_width=-1`, agregue elementos `max(ngram_widths)-1`. |
Devoluciones
- una nueva instancia de StringNGrams
salida pública <T> ngramsSplits ()
El tensor de divisiones del tensor irregular de los ngramas de salida.