Decodifica ogni stringa in "input" in una sequenza di punti di codice Unicode.
I punti di codice dei caratteri per tutte le stringhe vengono restituiti utilizzando un singolo vettore "char_values", con le stringhe espanse in caratteri nell'ordine della riga principale. Allo stesso modo, gli offset dei byte di inizio carattere vengono restituiti utilizzando un singolo vettore `char_to_byte_starts`, con le stringhe espanse in ordine di riga principale.
Il tensore "row_splits" indica dove iniziano e finiscono i codepoint e gli offset iniziali per ciascuna stringa di input all'interno dei tensori "char_values" e "char_to_byte_starts". In particolare, i valori per la `i`esima stringa (in ordine di riga principale) sono memorizzati nella sezione `[row_splits[i]:row_splits[i+1]]`. Così:
- `char_values[row_splits[i]+j]` è il punto di codice Unicode per il `j`esimo carattere nella `i`esima stringa (nell'ordine della riga principale).
- `char_to_bytes_starts[row_splits[i]+j]` è l'offset del byte iniziale per il `j`esimo carattere nella `i`esima stringa (nell'ordine della riga principale).
- `row_splits[i+1] - row_splits[i]` è il numero di caratteri nella `i`esima stringa (nell'ordine della riga principale).
Classi nidificate
| classe | UnicodeDecodeWithOffsets.Options | Attributi facoltativi per UnicodeDecodeWithOffsets | |
Costanti
| Corda | OP_NAME | Il nome di questa operazione, come noto al motore principale di TensorFlow |
Metodi pubblici
| Uscita < TInt64 > | charToByteStarts () Un tensore int32 1D contenente l'indice dei byte nella stringa di input in cui inizia ogni carattere in "char_values". |
| Uscita < TInt32 > | charValues () Un tensore 1D int32 contenente i punti di codice decodificati. |
| statico UnicodeDecodeWithOffsets < TInt64 > | create ( ambito Scope , Operando < TString > input, String inputEncoding, Opzioni... opzioni) Metodo factory per creare una classe che racchiude una nuova operazione UnicodeDecodeWithOffsets utilizzando i tipi di output predefiniti. |
| statico <T estende TNumber > UnicodeDecodeWithOffsets <T> | create ( ambito ambito , operando < TString > input, stringa inputEncoding, Class<T> Tsplits, Opzioni... opzioni) Metodo factory per creare una classe che racchiude una nuova operazione UnicodeDecodeWithOffsets. |
| statico UnicodeDecodeWithOffsets.Options | errori (Errori di stringa) |
| statico UnicodeDecodeWithOffsets.Options | replaceControlCharacters (sostituzione booleana di caratteri di controllo) |
| statico UnicodeDecodeWithOffsets.Options | sostituzioneChar (sostituzione lungaChar) |
| Uscita <T> | rigaDividi () Un tensore int32 1D contenente la riga divisa. |
Metodi ereditati
Costanti
Stringa finale statica pubblica OP_NAME
Il nome di questa operazione, come noto al motore principale di TensorFlow
Metodi pubblici
Output pubblico < TInt64 > charToByteStarts ()
Un tensore int32 1D contenente l'indice dei byte nella stringa di input in cui inizia ogni carattere in "char_values".
output pubblico < TInt32 > charValues ()
Un tensore 1D int32 contenente i punti di codice decodificati.
public static UnicodeDecodeWithOffsets < TInt64 > create ( Scope scope, Operand < TString > input, String inputEncoding, Options... options)
Metodo factory per creare una classe che racchiude una nuova operazione UnicodeDecodeWithOffsets utilizzando i tipi di output predefiniti.
Parametri
| scopo | ambito attuale |
|---|---|
| ingresso | Il testo da decodificare. Può avere qualsiasi forma. Si noti che l'output viene appiattito in un vettore di valori char. |
| inputEncoding | Codifica del testo delle stringhe di input. Questa è una qualsiasi delle codifiche supportate dai convertitori algoritmici ICU ucnv. Esempi: `"UTF-16", "US ASCII", "UTF-8"`. |
| opzioni | trasporta valori di attributi opzionali |
ritorna
- una nuova istanza di UnicodeDecodeWithOffsets
public static UnicodeDecodeWithOffsets <T> create ( Scope scope, Operand < TString > input, String inputEncoding, Class<T> Tsplits, Options... options)
Metodo factory per creare una classe che racchiude una nuova operazione UnicodeDecodeWithOffsets.
Parametri
| scopo | ambito attuale |
|---|---|
| ingresso | Il testo da decodificare. Può avere qualsiasi forma. Si noti che l'output viene appiattito in un vettore di valori char. |
| inputEncoding | Codifica del testo delle stringhe di input. Questa è una qualsiasi delle codifiche supportate dai convertitori algoritmici ICU ucnv. Esempi: `"UTF-16", "US ASCII", "UTF-8"`. |
| opzioni | trasporta valori di attributi opzionali |
ritorna
- una nuova istanza di UnicodeDecodeWithOffsets
errori pubblici statici UnicodeDecodeWithOffsets.Options (errori di stringa)
Parametri
| errori | Criterio di gestione degli errori quando viene trovata una formattazione non valida nell'input. Il valore di 'strict' farà sì che l'operazione produca un errore InvalidArgument su qualsiasi formattazione di input non valida. Un valore "replace" (il valore predefinito) farà sì che l'operazione sostituisca qualsiasi formattazione non valida nell'input con il punto di codice "replacement_char". Un valore "ignore" farà sì che l'operazione salti qualsiasi formattazione non valida nell'input e non produca alcun carattere di output corrispondente. |
|---|
public static UnicodeDecodeWithOffsets.Options replaceControlCharacters (Boolean replaceControlCharacters)
Parametri
| sostituireControlCharacters | Indica se sostituire i caratteri di controllo C0 (00-1F) con "replacement_char". L'impostazione predefinita è falsa. |
|---|
public static UnicodeDecodeWithOffsets.Options replaceChar (Long replaceChar)
Parametri
| sostituzioneChar | Il punto di codice del carattere sostitutivo da utilizzare al posto di qualsiasi formattazione non valida nell'input quando `errors='replace'`. È possibile utilizzare qualsiasi punto di codice Unicode valido. Il valore predefinito è che il carattere sostitutivo Unicode predefinito è 0xFFFD o U+65533.) |
|---|