tensorflow::ops::UnicodeTranscode

#include <string_ops.h>

Giriş metnini kaynak kodlamadan hedef kodlamaya dönüştürün.

Özet

Giriş, herhangi bir şekle sahip bir dize tensörüdür. Çıkış, dönüştürülmüş dizeleri içeren aynı şekle sahip bir dize tensörüdür. Çıkış dizeleri her zaman geçerli Unicode'dur. Giriş geçersiz kodlama konumları içeriyorsa, ` errors özniteliği bunlarla nasıl başa çıkılacağına dair politikayı belirler. Varsayılan hata işleme politikası kullanılırsa, geçersiz biçimlendirme, çıktıda ` replacement_char ile değiştirilir. `errors` politikası ignore olarak ayarlanırsa, girişteki geçersiz kodlama konumları atlanır ve çıktıya dahil edilmez. strict olarak ayarlanırsa, herhangi bir geçersiz biçimlendirme `InvalidArgument` hatasına neden olur.

Bu işlem, girişler zaten istenen kodlamada olsa bile doğru biçimlendirmeyi sağlamak için output_encoding = input_encoding ile birlikte kullanılabilir.

Giriş, kodlamayı belirlemek için gerekli olan bir Bayt Sıralama İşareti (BOM) ile ön eklenmişse (örneğin, kodlama UTF-16 ise ve BOM büyük endian'ı gösteriyorsa), bu BOM tüketilir ve çıktıya yansıtılmaz. Giriş kodlaması açık bir endianlık ile işaretlenmişse (örneğin UTF-16-BE), BOM kesintisiz boşluk olarak yorumlanır ve çıktıda korunur (UTF-8 için her zaman dahil).

Sonuç olarak, giriş açık bir endianlık ile işaretlenmişse, kod dönüştürme işlemi kaynaktaki tüm kod noktalarına sadık kalır. Açık bir endianlık ile işaretlenmemişse, BOM dizenin kendisinin bir parçası olarak değil, meta veri olarak kabul edilir ve bu nedenle çıktıda korunmaz.

Argümanlar:

  • kapsam: Bir Kapsam nesnesi
  • Giriş: İşlenecek metin. Herhangi bir şekle sahip olabilir.
  • input_encoding: Giriş dizelerinin metin kodlaması. Bu, ICU ucnv algoritmik dönüştürücüler tarafından desteklenen kodlamalardan herhangi biri olabilir. Örnekler: "UTF-16", "US ASCII", "UTF-8" .
  • output_encoding: Çıktıda kullanılacak Unicode kodlaması. "UTF-8", "UTF-16-BE", "UTF-32-BE" seçeneklerinden biri olmalıdır. Çok baytlı kodlamalar büyük endian olacaktır.

İsteğe bağlı özellikler (bkz. Attrs ):

  • Hatalar: Girişte geçersiz biçimlendirme bulunduğunda uygulanacak hata işleme politikası. 'strict' değeri, geçersiz giriş biçimlendirmelerinde InvalidArgument hatası oluşmasına neden olur. 'replace' değeri (varsayılan), girişteki geçersiz biçimlendirmeyi replacement_char kod noktasıyla değiştirir. 'ignore' değeri, girişteki geçersiz biçimlendirmeyi atlar ve karşılık gelen bir çıktı karakteri üretmez.
  • replacement_char: errors='replace' kullanıldığında girişteki geçersiz biçimlendirmenin yerine kullanılacak değiştirme karakteri kod noktası. Herhangi bir geçerli Unicode kod noktası kullanılabilir. Varsayılan değer, varsayılan Unicode değiştirme karakteri olan 0xFFFD veya U+65533'tür.

UTF-8 için, ' ' gibi 1 bayt ile ifade edilebilen bir değiştirme karakteri geçmenin, geçersiz baytlar 1 baytlık bir değiştirme karakteriyle değiştirileceği için kaynakla dize hizalamasını koruyacağını unutmayın. UTF-16-BE ve UTF-16-LE için, herhangi bir 1 veya 2 baytlık değiştirme karakteri, kaynakla bayt hizalamasını koruyacaktır.

  • replace_control_characters: C0 kontrol karakterlerinin (00-1F) replacement_char ile değiştirilip değiştirilmeyeceği. Varsayılan değer false'tur.

İadeler:

  • Output : output_encoding kullanılarak kodlanmış Unicode metin içeren bir dize tensörü.

Yapıcılar ve Yıkıcılar

UnicodeTranscode (const :: tensorflow::Scope & scope, :: tensorflow::Input input, StringPiece input_encoding, StringPiece output_encoding)
UnicodeTranscode (const :: tensorflow::Scope & scope, :: tensorflow::Input input, StringPiece input_encoding, StringPiece output_encoding, const UnicodeTranscode::Attrs & attrs)

Genel özellikler

operation
output

Kamusal işlevler

node () const
::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

Herkese açık statik fonksiyonlar

Errors (StringPiece x)
ReplaceControlCharacters (bool x)
ReplacementChar (int64 x)

Yapılar

tensorflow::ops::UnicodeTranscode::Attrs

UnicodeTranscode için isteğe bağlı öznitelik ayarlayıcıları.

Genel özellikler

operasyon 

Operation operation

çıktı 

::tensorflow::Output output

Kamusal işlevler

UnicodeTranscode 

 UnicodeTranscode(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  StringPiece input_encoding,
  StringPiece output_encoding
)

UnicodeTranscode 

 UnicodeTranscode(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  StringPiece input_encoding,
  StringPiece output_encoding,
  const UnicodeTranscode::Attrs & attrs
)

düğüm 

::tensorflow::Node * node() const

operatör::tensorflow::Giriş 

 operator::tensorflow::Input() const

operatör::tensorflow::Çıktı 

 operator::tensorflow::Output() const

Herkese açık statik fonksiyonlar

Hatalar 

Attrs Errors(
  StringPiece x
)

Kontrol Karakterlerini Değiştir 

Attrs ReplaceControlCharacters(
  bool x
)

Yedek Karakter 

Attrs ReplacementChar(
  int64 x
)