tensorflow:: ops:: UnicodeTranscode

#include <string_ops.h>

Transcodifica el texto de entrada desde una codificación de origen a una codificación de destino.

Resumen

La entrada es un tensor de cadena de cualquier forma. La salida es un tensor de cadena de la misma forma que contiene las cadenas transcodificadas. Las cadenas de salida siempre son Unicode válidas. Si la entrada contiene posiciones de codificación no válidas, el atributo errors establece la política para su manejo. Si se utiliza la política de manejo de errores predeterminada, el formato no válido se sustituirá en la salida por replacement_char . Si la política errors es ignore , cualquier posición de codificación no válida en la entrada se omite y no se incluye en la salida. Si se establece en strict , cualquier formato no válido dará como resultado un error InvalidArgument.

Esta operación se puede utilizar con output_encoding = input_encoding para garantizar el formato correcto de las entradas, incluso si ya están en la codificación deseada.

Si la entrada está precedida por una marca de orden de bytes (BOM) necesaria para determinar la codificación (por ejemplo, si la codificación es UTF-16 y la BOM indica big-endian), dicha BOM se consumirá y no se emitirá en la salida. Si la codificación de entrada está marcada con un orden de bytes explícito (por ejemplo, UTF-16-BE), la BOM se interpreta como un espacio de no separación y se conserva en la salida (incluido always para UTF-8).

El resultado final es que si la entrada está marcada con un orden de bytes explícito, la transcodificación respeta todos los puntos de código de la fuente. Si no está marcada con un orden de bytes explícito, la marca de orden de bytes (BOM) no se considera parte de la cadena en sí, sino metadatos, por lo que no se conserva en la salida.

Argumentos:

  • ámbito: Un objeto de ámbito
  • Entrada: El texto que se va a procesar. Puede tener cualquier formato.
  • input_encoding: Codificación de texto de las cadenas de entrada. Puede ser cualquiera de las codificaciones compatibles con los convertidores algorítmicos ICU ucnv. Ejemplos: "UTF-16", "US ASCII", "UTF-8" .
  • output_encoding: La codificación Unicode que se utilizará en la salida. Debe ser una de las siguientes: "UTF-8", "UTF-16-BE", "UTF-32-BE" . Las codificaciones multibyte serán big-endian.

Atributos opcionales (ver Attrs ):

  • Errores: Política de manejo de errores cuando se encuentra formato no válido en la entrada. El valor 'strict' hará que la operación genere un error InvalidArgument ante cualquier formato de entrada no válido. El valor 'replace' (el predeterminado) hará que la operación reemplace cualquier formato no válido en la entrada con el punto de código replacement_char . El valor 'ignore' hará que la operación omita cualquier formato no válido en la entrada y no genere ningún carácter de salida correspondiente.
  • replacement_char: El punto de código del carácter de reemplazo que se utilizará en lugar de cualquier formato no válido en la entrada cuando errors='replace' . Se puede utilizar cualquier punto de código Unicode válido. El valor predeterminado es el carácter de reemplazo Unicode predeterminado, que es 0xFFFD o U+65533.

Tenga en cuenta que, para UTF-8, pasar un carácter de reemplazo que se pueda expresar en 1 byte, como '', preservará la alineación de la cadena con la fuente, ya que los bytes no válidos se reemplazarán con un reemplazo de 1 byte. Para UTF-16-BE y UTF-16-LE, cualquier carácter de reemplazo de 1 o 2 bytes preservará la alineación de bytes con la fuente.

  • replace_control_characters: Indica si se deben reemplazar los caracteres de control C0 (00-1F) con replacement_char . El valor predeterminado es falso.

Devoluciones:

  • Output : Un tensor de cadena que contiene texto Unicode codificado usando output_encoding .

Constructores y destructores

UnicodeTranscode (const :: tensorflow::Scope & scope, :: tensorflow::Input input, StringPiece input_encoding, StringPiece output_encoding)
UnicodeTranscode (const :: tensorflow::Scope & scope, :: tensorflow::Input input, StringPiece input_encoding, StringPiece output_encoding, const UnicodeTranscode::Attrs & attrs)

Atributos públicos

operation
output

Funciones públicas

node () const
::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

funciones estáticas públicas

Errors (StringPiece x)
ReplaceControlCharacters (bool x)
ReplacementChar (int64 x)

Estructuras

tensorflow:: ops:: UnicodeTranscode:: Attrs

Configuradores de atributos opcionales para UnicodeTranscode .

Atributos públicos

operación 

Operation operation

producción 

::tensorflow::Output output

Funciones públicas

UnicodeTranscode 

 UnicodeTranscode(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  StringPiece input_encoding,
  StringPiece output_encoding
)

UnicodeTranscode 

 UnicodeTranscode(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  StringPiece input_encoding,
  StringPiece output_encoding,
  const UnicodeTranscode::Attrs & attrs
)

nodo 

::tensorflow::Node * node() const

operador::tensorflow::Input 

 operator::tensorflow::Input() const

operador::tensorflow::Salida 

 operator::tensorflow::Output() const

funciones estáticas públicas

Errores 

Attrs Errors(
  StringPiece x
)

Reemplazar caracteres de control 

Attrs ReplaceControlCharacters(
  bool x
)

ReemplazoChar 

Attrs ReplacementChar(
  int64 x
)