tensorflow::ops::UnicodeTranscode

#include <string_ops.h>

Transcodifica il testo di input da una codifica di origine a una codifica di destinazione.

Riepilogo

L'input è un tensore di stringhe di qualsiasi forma. L'output è un tensore di stringhe della stessa forma contenente le stringhe transcodificate. Le stringhe di output sono sempre Unicode valide. Se l'input contiene posizioni di codifica non valide, l'attributo errors imposta la politica per la loro gestione. Se viene utilizzata la politica di gestione degli errori predefinita, la formattazione non valida verrà sostituita nell'output dal replacement_char . Se la politica degli errori è impostata su ignore , tutte le posizioni di codifica non valide nell'input vengono ignorate e non incluse nell'output. Se è impostata su strict , qualsiasi formattazione non valida genererà un errore `InvalidArgument`.

Questa operazione può essere utilizzata con output_encoding = input_encoding per imporre la formattazione corretta degli input anche se sono già nella codifica desiderata.

Se l'input è preceduto da un Byte Order Mark necessario per determinare la codifica (ad esempio, se la codifica è UTF-16 e il BOM indica big-endian), allora tale BOM verrà consumato e non emesso nell'output. Se la codifica di input è contrassegnata con un endianness esplicito (ad esempio, UTF-16-BE), allora il BOM viene interpretato come uno spazio non divisibile e viene conservato nell'output (incluso sempre per UTF-8).

Il risultato finale è che se l'input è contrassegnato con un endianness esplicito, la transcodifica è fedele a tutti i codepoint della sorgente. Se non è contrassegnato con un endianness esplicito, il BOM non viene considerato parte della stringa stessa ma come metadato, e quindi non viene conservato nell'output.

Argomentazioni:

  • ambito: un oggetto Scope
  • input: Il testo da elaborare. Può avere qualsiasi forma.
  • input_encoding: Codifica del testo delle stringhe di input. Si tratta di una qualsiasi delle codifiche supportate dai convertitori algoritmici di ICU ucnv. Esempi: "UTF-16", "US ASCII", "UTF-8" .
  • output_encoding: la codifica Unicode da utilizzare nell'output. Deve essere uno tra "UTF-8", "UTF-16-BE", "UTF-32-BE" . Le codifiche multibyte saranno big-endian.

Attributi opzionali (vedere Attrs ):

  • Errori: Politica di gestione degli errori quando viene rilevata una formattazione non valida nell'input. Il valore 'strict' farà sì che l'operazione produca un errore InvalidArgument in presenza di una formattazione di input non valida. Il valore 'replace' (predefinito) farà sì che l'operazione sostituisca qualsiasi formattazione non valida nell'input con il codepoint replacement_char . Il valore 'ignore' farà sì che l'operazione ignori qualsiasi formattazione non valida nell'input e non produca alcun carattere di output corrispondente.
  • replacement_char: Il punto di codice del carattere di sostituzione da utilizzare al posto di qualsiasi formattazione non valida nell'input quando errors='replace' . È possibile utilizzare qualsiasi punto di codice Unicode valido. Il valore predefinito è il carattere di sostituzione Unicode predefinito, ovvero 0xFFFD o U+65533.

Si noti che per UTF-8, il passaggio di un carattere di sostituzione esprimibile in 1 byte, come ' ', manterrà l'allineamento della stringa al codice sorgente poiché i byte non validi verranno sostituiti con un carattere di sostituzione di 1 byte. Per UTF-16-BE e UTF-16-LE, qualsiasi carattere di sostituzione di 1 o 2 byte manterrà l'allineamento dei byte al codice sorgente.

  • replace_control_characters: Indica se sostituire i caratteri di controllo C0 (00-1F) con il replacement_char . Il valore predefinito è false.

Resi:

  • Output : Un tensore stringa contenente testo Unicode codificato utilizzando output_encoding .

Costruttori e distruttori

UnicodeTranscode (const :: tensorflow::Scope & scope, :: tensorflow::Input input, StringPiece input_encoding, StringPiece output_encoding)
UnicodeTranscode (const :: tensorflow::Scope & scope, :: tensorflow::Input input, StringPiece input_encoding, StringPiece output_encoding, const UnicodeTranscode::Attrs & attrs)

attributi pubblici

operation
output

Funzioni pubbliche

node () const
::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

Funzioni statiche pubbliche

Errors (StringPiece x)
ReplaceControlCharacters (bool x)
ReplacementChar (int64 x)

Strutture

tensorflow::ops::UnicodeTranscode::Attrs

Impostatori di attributi opzionali per UnicodeTranscode .

attributi pubblici

operazione 

Operation operation

produzione 

::tensorflow::Output output

Funzioni pubbliche

UnicodeTranscode 

 UnicodeTranscode(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  StringPiece input_encoding,
  StringPiece output_encoding
)

UnicodeTranscode 

 UnicodeTranscode(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  StringPiece input_encoding,
  StringPiece output_encoding,
  const UnicodeTranscode::Attrs & attrs
)

nodo 

::tensorflow::Node * node() const

operatore::tensorflow::Input 

 operator::tensorflow::Input() const

operatore::tensoreflusso::output 

 operator::tensorflow::Output() const

Funzioni statiche pubbliche

Errori 

Attrs Errors(
  StringPiece x
)

ReplaceControlCharacters 

Attrs ReplaceControlCharacters(
  bool x
)

Carbone di ricambio 

Attrs ReplacementChar(
  int64 x
)