tensorflow::ops::UnicodeTranscode

#include <string_ops.h>

Transcodifica o texto de entrada de uma codificação de origem para uma codificação de destino.

Resumo

A entrada é um tensor de strings de qualquer formato. A saída é um tensor de strings do mesmo formato contendo as strings transcodificadas. As strings de saída são sempre Unicode válidas. Se a entrada contiver posições de codificação inválidas, o atributo ` errors define a política de tratamento de erros. Se a política de tratamento de erros padrão for usada, a formatação inválida será substituída na saída pelo replacement_char . Se a política de erros for ignore , quaisquer posições de codificação inválidas na entrada serão ignoradas e não incluídas na saída. Se definida como strict , qualquer formatação inválida resultará em um erro `InvalidArgument`.

Essa operação pode ser usada com output_encoding = input_encoding para impor a formatação correta das entradas, mesmo que elas já estejam na codificação desejada.

Se a entrada for precedida por uma Marca de Ordem de Bytes (BOM) necessária para determinar a codificação (por exemplo, se a codificação for UTF-16 e a BOM indicar big-endian), essa BOM será consumida e não emitida na saída. Se a codificação de entrada for marcada com uma endianness explícita (por exemplo, UTF-16-BE), a BOM será interpretada como um espaço não separável e será preservada na saída (inclusive sempre para UTF-8).

O resultado final é que, se a entrada for marcada com endianness explícito, a transcodificação será fiel a todos os pontos de código na fonte. Se não for marcada com endianness explícito, a BOM não será considerada parte da própria string, mas sim como metadados, e, portanto, não será preservada na saída.

Exemplos:

tf.strings.unicode_transcode(["Hello", "TensorFlow", "2.x"], "UTF-8", "UTF-16-BE") tf.strings.unicode_transcode(["A", "B", "C"], "US ASCII", "UTF-8").numpy() array([b'A', b'B', b'C'], dtype=object)

Argumentos:

  • escopo: Um objeto de escopo
  • Entrada: O texto a ser processado. Pode ter qualquer formato.
  • input_encoding: Codificação de texto das strings de entrada. Pode ser qualquer uma das codificações suportadas pelos conversores algorítmicos ICU ucnv. Exemplos: "UTF-16", "US ASCII", "UTF-8" .
  • output_encoding: A codificação Unicode a ser usada na saída. Deve ser uma das seguintes "UTF-8", "UTF-16-BE", "UTF-32-BE" . Codificações multibyte serão big-endian.

Atributos opcionais (ver Attrs ):

  • erros: Política de tratamento de erros quando uma formatação inválida é encontrada na entrada. O valor 'strict' fará com que a operação produza um erro InvalidArgument para qualquer formatação de entrada inválida. O valor 'replace' (o padrão) fará com que a operação substitua qualquer formatação inválida na entrada pelo ponto de código replacement_char . O valor 'ignore' fará com que a operação ignore qualquer formatação inválida na entrada e não produza nenhum caractere de saída correspondente.
  • replacement_char: O ponto de código do caractere de substituição a ser usado no lugar de qualquer formatação inválida na entrada quando errors='replace' . Qualquer ponto de código Unicode válido pode ser usado. O valor padrão é o caractere de substituição Unicode padrão, que é 0xFFFD ou U+65533.

Note que, para UTF-8, passar um caractere de substituição que possa ser expresso em 1 byte, como ' ', preservará o alinhamento da string com a origem, já que bytes inválidos serão substituídos por um caractere de 1 byte. Para UTF-16-BE e UTF-16-LE, qualquer caractere de substituição de 1 ou 2 bytes preservará o alinhamento de bytes com a origem.

  • replace_control_characters: Indica se os caracteres de controle C0 (00-1F) devem ser substituídos pelo replacement_char . O padrão é falso.

Devoluções:

  • Output : Um tensor de string contendo texto unicode codificado usando output_encoding .

Construtores e Destrutores

UnicodeTranscode (const :: tensorflow::Scope & scope, :: tensorflow::Input input, StringPiece input_encoding, StringPiece output_encoding)
UnicodeTranscode (const :: tensorflow::Scope & scope, :: tensorflow::Input input, StringPiece input_encoding, StringPiece output_encoding, const UnicodeTranscode::Attrs & attrs)

Atributos públicos

operation
output

Funções públicas

node () const
::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

Funções estáticas públicas

Errors (StringPiece x)
ReplaceControlCharacters (bool x)
ReplacementChar (int64 x)

Estruturas

tensorflow:: ops:: UnicodeTranscode:: Attrs

Definidores de atributos opcionais para UnicodeTranscode .

Atributos públicos

operação 

Operation operation

saída 

::tensorflow::Output output

Funções públicas

Transcodificação Unicode 

 UnicodeTranscode(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  StringPiece input_encoding,
  StringPiece output_encoding
)

Transcodificação Unicode 

 UnicodeTranscode(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  StringPiece input_encoding,
  StringPiece output_encoding,
  const UnicodeTranscode::Attrs & attrs
)

nó 

::tensorflow::Node * node() const

operador::tensorflow::Input 

 operator::tensorflow::Input() const

operador::tensorflow::Saída 

 operator::tensorflow::Output() const

Funções estáticas públicas

Erros 

Attrs Errors(
  StringPiece x
)

SubstituirCaracteresDeControle 

Attrs ReplaceControlCharacters(
  bool x
)

Caractere de Substituição 

Attrs ReplacementChar(
  int64 x
)