tensorflow::ops::UnicodeTranscode

#include <string_ops.h>

Transcoder le texte d'entrée d'un encodage source vers un encodage de destination.

Résumé

L'entrée est un tenseur de chaînes de caractères de forme quelconque. La sortie est un tenseur de chaînes de caractères de même forme contenant les chaînes transcodées. Les chaînes de sortie sont toujours au format Unicode valide. Si l'entrée contient des positions d'encodage invalides, l'attribut errors définit la stratégie de gestion de ces erreurs. Si la stratégie par défaut est utilisée, les formats invalides sont remplacés dans la sortie par ` replacement_char . Si la stratégie `errors` est définie sur ignore , les positions d'encodage invalides dans l'entrée sont ignorées et ne sont pas incluses dans la sortie. Si elle est définie sur strict , tout formatage invalide entraîne une erreur `InvalidArgument`.

Cette opération peut être utilisée avec output_encoding = input_encoding pour imposer un formatage correct des entrées même si elles sont déjà dans l'encodage souhaité.

Si l'entrée est précédée d'une marque d'ordre d'octet (BOM) nécessaire à la détermination de l'encodage (par exemple, si l'encodage est UTF-16 et que la BOM indique un format big-endian), cette BOM sera conservée et non transmise en sortie. Si l'encodage d'entrée est explicitement marqué avec un format big-endian (par exemple, UTF-16-BE), la BOM est interprétée comme un espace insécable et est conservée en sortie (y compris systématiquement pour UTF-8).

En conséquence, si l'endianness est explicitement indiquée dans le texte d'entrée, le transcodage respecte tous les points de code de la source. Dans le cas contraire, la marque d'ordre d'octet (BOM) est considérée comme une métadonnée et non comme faisant partie de la chaîne, et n'est donc pas conservée dans le texte de sortie.

Arguments :

  • portée : un objet Scope
  • input : Le texte à traiter. Peut avoir n’importe quelle forme.
  • input_encoding : Encodage du texte des chaînes d’entrée. Il peut s’agir de l’un des encodages pris en charge par les convertisseurs algorithmiques ICU ucnv. Exemples : "UTF-16", "US ASCII", "UTF-8" .
  • output_encoding : Encodage Unicode à utiliser pour la sortie. Doit être l’un des suivants "UTF-8", "UTF-16-BE", "UTF-32-BE" . Les encodages multioctets seront en big-endian.

Attributs optionnels (voir Attrs ) :

  • Gestion des erreurs : Stratégie de gestion des erreurs en cas de formatage invalide dans les données d'entrée. La valeur « strict » génère une erreur InvalidArgument pour tout formatage invalide. La valeur « replace » (par défaut) remplace tout formatage invalide par le point de code replacement_char . La valeur « ignore » ignore tout formatage invalide et ne produit aucun caractère de sortie correspondant.
  • replacement_char : Point de code du caractère de remplacement à utiliser en cas de formatage invalide dans l’entrée lorsque errors='replace' . Tout point de code Unicode valide peut être utilisé. La valeur par défaut est 0xFFFD ou U+65533 (caractère de remplacement Unicode par défaut).

Notez que pour l'UTF-8, le passage d'un caractère de remplacement pouvant être exprimé sur un octet, tel que «  », préservera l'alignement de la chaîne avec la source, car les octets invalides seront remplacés par un caractère d'un octet. Pour l'UTF-16-BE et l'UTF-16-LE, tout caractère de remplacement d'un ou deux octets préservera l'alignement des octets avec la source.

  • replace_control_characters : Indique s’il faut remplacer les caractères de contrôle C0 (00-1F) par replacement_char . La valeur par défaut est false.

Retours :

  • Output : Un tenseur de chaîne contenant du texte Unicode encodé à l'aide output_encoding .

Constructeurs et destructeurs

UnicodeTranscode (const :: tensorflow::Scope & scope, :: tensorflow::Input input, StringPiece input_encoding, StringPiece output_encoding)
UnicodeTranscode (const :: tensorflow::Scope & scope, :: tensorflow::Input input, StringPiece input_encoding, StringPiece output_encoding, const UnicodeTranscode::Attrs & attrs)

attributs publics

operation
output

fonctions publiques

node () const
::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

fonctions statiques publiques

Errors (StringPiece x)
ReplaceControlCharacters (bool x)
ReplacementChar (int64 x)

Structures

tensorflow::ops::UnicodeTranscode::Attrs

Définiteurs d'attributs optionnels pour UnicodeTranscode .

attributs publics

opération 

Operation operation

sortir 

::tensorflow::Output output

fonctions publiques

UnicodeTranscode 

 UnicodeTranscode(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  StringPiece input_encoding,
  StringPiece output_encoding
)

UnicodeTranscode 

 UnicodeTranscode(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  StringPiece input_encoding,
  StringPiece output_encoding,
  const UnicodeTranscode::Attrs & attrs
)

nœud 

::tensorflow::Node * node() const

opérateur::tensorflow::Entrée 

 operator::tensorflow::Input() const

opérateur::tensorflow::Sortie 

 operator::tensorflow::Output() const

fonctions statiques publiques

Erreurs 

Attrs Errors(
  StringPiece x
)

Remplacer les caractères de contrôle 

Attrs ReplaceControlCharacters(
  bool x
)

RemplacementChar 

Attrs ReplacementChar(
  int64 x
)