tensorflow:: ops:: UnicodeTranscode

#include <string_ops.h>

इनपुट टेक्स्ट को स्रोत एन्कोडिंग से गंतव्य एन्कोडिंग में रूपांतरित करें।

सारांश

इनपुट किसी भी आकार का स्ट्रिंग टेंसर होता है। आउटपुट उसी आकार का एक स्ट्रिंग टेंसर होता है जिसमें ट्रांसकोडेड स्ट्रिंग्स होती हैं। आउटपुट स्ट्रिंग्स हमेशा मान्य यूनिकोड होती हैं। यदि इनपुट में अमान्य एन्कोडिंग स्थान हैं, तो errors विशेषता यह निर्धारित करती है कि उनसे कैसे निपटा जाए। यदि डिफ़ॉल्ट त्रुटि-हैंडलिंग नीति का उपयोग किया जाता है, तो अमान्य फ़ॉर्मेटिंग को आउटपुट में replacement_char द्वारा प्रतिस्थापित किया जाएगा। यदि errors नीति ignore है, तो इनपुट में किसी भी अमान्य एन्कोडिंग स्थान को छोड़ दिया जाता है और आउटपुट में शामिल नहीं किया जाता है। यदि इसे strict पर सेट किया जाता है, तो किसी भी अमान्य फ़ॉर्मेटिंग के परिणामस्वरूप InvalidArgument त्रुटि होगी।

इस ऑपरेशन का उपयोग output_encoding = input_encoding के साथ किया जा सकता है ताकि इनपुट के लिए सही फॉर्मेटिंग को लागू किया जा सके, भले ही वे पहले से ही वांछित एन्कोडिंग में हों।

यदि इनपुट से पहले बाइट ऑर्डर मार्क (BOM) लगा हो, जो एन्कोडिंग निर्धारित करने के लिए आवश्यक है (उदाहरण के लिए, यदि एन्कोडिंग UTF-16 है और BOM बिग-एंडियन को दर्शाता है), तो वह BOM उपयोग में लाया जाएगा और आउटपुट में नहीं भेजा जाएगा। यदि इनपुट एन्कोडिंग को स्पष्ट रूप से एंडियननेस (उदाहरण के लिए, UTF-16-BE) से चिह्नित किया गया है, तो BOM को नॉन-ब्रेकिंग स्पेस के रूप में माना जाएगा और आउटपुट में संरक्षित किया जाएगा (UTF-8 के मामले में हमेशा)।

इसका अंतिम परिणाम यह है कि यदि इनपुट को स्पष्ट एंडियननेस के रूप में चिह्नित किया गया है, तो ट्रांसकोडिंग स्रोत में सभी कोडपॉइंट्स के प्रति निष्ठावान रहती है। यदि इसे स्पष्ट एंडियननेस के साथ चिह्नित नहीं किया गया है, तो BOM को स्ट्रिंग का हिस्सा नहीं बल्कि मेटाडेटा माना जाता है, और इसलिए यह आउटपुट में संरक्षित नहीं होता है।

तर्क:

  • स्कोप: एक स्कोप ऑब्जेक्ट
  • इनपुट: संसाधित किया जाने वाला पाठ। इसका आकार कोई भी हो सकता है।
  • input_encoding: इनपुट स्ट्रिंग्स का टेक्स्ट एन्कोडिंग। यह ICU ucnv एल्गोरिथम कन्वर्टर्स द्वारा समर्थित किसी भी एन्कोडिंग में से एक हो सकता है। उदाहरण: "UTF-16", "US ASCII", "UTF-8" ।
  • output_encoding: आउटपुट में उपयोग की जाने वाली यूनिकोड एन्कोडिंग। यह "UTF-8", "UTF-16-BE", "UTF-32-BE" में से एक होनी चाहिए। मल्टी-बाइट एन्कोडिंग बिग-एंडियन होगी।

वैकल्पिक विशेषताएँ (देखें Attrs ):

  • त्रुटियाँ: इनपुट में अमान्य फ़ॉर्मेटिंग पाए जाने पर त्रुटि प्रबंधन नीति। 'स्ट्रिक्ट' मान किसी भी अमान्य इनपुट फ़ॉर्मेटिंग पर InvalidArgument त्रुटि उत्पन्न करेगा। 'रिप्लेस' (डिफ़ॉल्ट मान) इनपुट में किसी भी अमान्य फ़ॉर्मेटिंग को replacement_char कोडपॉइंट से बदल देगा। 'इग्नोर' मान इनपुट में किसी भी अमान्य फ़ॉर्मेटिंग को छोड़ देगा और कोई संबंधित आउटपुट वर्ण उत्पन्न नहीं करेगा।
  • replacement_char: इनपुट में किसी भी अमान्य फ़ॉर्मेटिंग के स्थान पर उपयोग किया जाने वाला प्रतिस्थापन वर्ण कोडपॉइंट, जब errors='replace' । कोई भी मान्य यूनिकोड कोडपॉइंट उपयोग किया जा सकता है। डिफ़ॉल्ट मान 0xFFFD या U+65533 है।

ध्यान दें कि UTF-8 के लिए, 1 बाइट में व्यक्त किए जा सकने वाले प्रतिस्थापन वर्ण, जैसे ' ', को पास करने से स्रोत के सापेक्ष स्ट्रिंग संरेखण बना रहेगा क्योंकि अमान्य बाइट्स को 1-बाइट प्रतिस्थापन से बदल दिया जाएगा। UTF-16-BE और UTF-16-LE के लिए, कोई भी 1 या 2 बाइट प्रतिस्थापन वर्ण स्रोत के सापेक्ष बाइट संरेखण को बनाए रखेगा।

  • replace_control_characters: क्या C0 नियंत्रण वर्णों (00-1F) को replacement_char से बदलना है। डिफ़ॉल्ट मान false है।

प्रतिफल:

  • Output : output_encoding का उपयोग करके एन्कोड किए गए यूनिकोड टेक्स्ट वाला एक स्ट्रिंग टेंसर।

कंस्ट्रक्टर और डिस्ट्रक्टर

UnicodeTranscode (const :: tensorflow::Scope & scope, :: tensorflow::Input input, StringPiece input_encoding, StringPiece output_encoding)
UnicodeTranscode (const :: tensorflow::Scope & scope, :: tensorflow::Input input, StringPiece input_encoding, StringPiece output_encoding, const UnicodeTranscode::Attrs & attrs)

सार्वजनिक विशेषताएँ

operation
output

सार्वजनिक समारोह

node () const
::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

सार्वजनिक स्थैतिक फ़ंक्शन

Errors (StringPiece x)
ReplaceControlCharacters (bool x)
ReplacementChar (int64 x)

संरचनाएँ

टेन्सरफ्लो::ऑप्स::यूनिकोडट्रांसकोड::एट्रिब्यूट्स

UnicodeTranscode के लिए वैकल्पिक विशेषता निर्धारक।

सार्वजनिक विशेषताएँ

संचालन 

Operation operation

आउटपुट 

::tensorflow::Output output

सार्वजनिक समारोह

यूनिकोड ट्रांसकोड 

 UnicodeTranscode(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  StringPiece input_encoding,
  StringPiece output_encoding
)

यूनिकोड ट्रांसकोड 

 UnicodeTranscode(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  StringPiece input_encoding,
  StringPiece output_encoding,
  const UnicodeTranscode::Attrs & attrs
)

नोड 

::tensorflow::Node * node() const

ऑपरेटर::टेन्सरफ्लो::इनपुट 

 operator::tensorflow::Input() const

ऑपरेटर::टेन्सरफ्लो::आउटपुट 

 operator::tensorflow::Output() const

सार्वजनिक स्थैतिक फ़ंक्शन

त्रुटियाँ 

Attrs Errors(
  StringPiece x
)

नियंत्रण वर्णों को बदलें 

Attrs ReplaceControlCharacters(
  bool x
)

रिप्लेसमेंटचार 

Attrs ReplacementChar(
  int64 x
)