tensorflow:: ops:: UnicodeTranscode

#include <string_ops.h>

ইনপুট টেক্সটকে উৎস এনকোডিং থেকে গন্তব্য এনকোডিং-এ ট্রান্সকোড করুন।

সারসংক্ষেপ

ইনপুট হলো যেকোনো আকারের একটি স্ট্রিং টেনসর। আউটপুট হলো একই আকারের একটি স্ট্রিং টেনসর, যাতে ট্রান্সকোড করা স্ট্রিংগুলো থাকে। আউটপুট স্ট্রিংগুলো সর্বদা বৈধ ইউনিকোড হয়। যদি ইনপুটে অবৈধ এনকোডিং পজিশন থাকে, তবে সেগুলোর সাথে কীভাবে আচরণ করা হবে তার নীতি ' errors ' অ্যাট্রিবিউট নির্ধারণ করে। যদি ডিফল্ট ত্রুটি-পরিচালনা নীতি ব্যবহার করা হয়, তবে আউটপুটে অবৈধ ফরম্যাটিং-এর পরিবর্তে ' replacement_char ' ব্যবহার করা হবে। যদি 'errors' নীতি ' ignore থাকে, তবে ইনপুটের যেকোনো অবৈধ এনকোডিং পজিশন এড়িয়ে যাওয়া হয় এবং আউটপুটে অন্তর্ভুক্ত করা হয় না। যদি এটি strict সেট করা থাকে, তবে যেকোনো অবৈধ ফরম্যাটিং-এর ফলে একটি 'InvalidArgument' ত্রুটি দেখা দেবে।

এই অপারেশনটি output_encoding = input_encoding এর সাথে ব্যবহার করা যেতে পারে, যাতে ইনপুটগুলো কাঙ্ক্ষিত এনকোডিংয়ে থাকলেও সেগুলোর সঠিক ফরম্যাটিং নিশ্চিত করা যায়।

যদি ইনপুটের শুরুতে এনকোডিং নির্ধারণের জন্য প্রয়োজনীয় কোনো বাইট অর্ডার মার্ক (BOM) থাকে (যেমন, যদি এনকোডিং UTF-16 হয় এবং BOM-টি বিগ-এন্ডিয়ান নির্দেশ করে), তাহলে সেই BOM-টি ব্যবহৃত হবে এবং আউটপুটে নির্গত হবে না। যদি ইনপুট এনকোডিং একটি সুস্পষ্ট এন্ডিয়াননেস দ্বারা চিহ্নিত থাকে (যেমন, UTF-16-BE), তাহলে BOM-টিকে একটি নন-ব্রেকিং-স্পেস হিসেবে গণ্য করা হয় এবং আউটপুটে সংরক্ষিত থাকে (UTF-8-এর ক্ষেত্রে সর্বদা সহ)।

এর ফলস্বরূপ, যদি ইনপুটটিকে সুস্পষ্ট এন্ডিয়াননেস দিয়ে চিহ্নিত করা হয়, তবে ট্রান্সকোডিং সোর্সের সমস্ত কোডপয়েন্টের প্রতি বিশ্বস্ত থাকে। যদি এটিকে সুস্পষ্ট এন্ডিয়াননেস দিয়ে চিহ্নিত করা না হয়, তবে BOM-কে স্ট্রিংটির অংশ হিসেবে বিবেচনা না করে মেটাডেটা হিসেবে গণ্য করা হয় এবং তাই এটি আউটপুটে সংরক্ষিত হয় না।

যুক্তি:

• স্কোপ: একটি স্কোপ অবজেক্ট
• ইনপুট: যে লেখাটি প্রসেস করা হবে। এটি যেকোনো আকৃতির হতে পারে।
• input_encoding: ইনপুট স্ট্রিংগুলির টেক্সট এনকোডিং। এটি ICU ucnv অ্যালগরিদমিক কনভার্টার দ্বারা সমর্থিত যেকোনো একটি এনকোডিং হতে পারে। উদাহরণ: "UTF-16", "US ASCII", "UTF-8" ।
• আউটপুট_এনকোডিং: আউটপুটে ব্যবহৃত ইউনিকোড এনকোডিং। এটি অবশ্যই "UTF-8", "UTF-16-BE", "UTF-32-BE" এর মধ্যে একটি হতে হবে। মাল্টি-বাইট এনকোডিং বিগ-এন্ডিয়ান হবে।

ঐচ্ছিক অ্যাট্রিবিউটসমূহ (দেখুন Attrs ):

• ত্রুটি: ইনপুটে ভুল ফরম্যাটিং পাওয়া গেলে ত্রুটি পরিচালনা নীতি। 'strict' মানটি যেকোনো ভুল ইনপুট ফরম্যাটিংয়ের ক্ষেত্রে অপারেশনটিকে একটি InvalidArgument ত্রুটি তৈরি করতে বাধ্য করবে। 'replace' (ডিফল্ট) মানটি ইনপুটের যেকোনো ভুল ফরম্যাটিংকে replacement_char কোডপয়েন্ট দিয়ে প্রতিস্থাপন করবে। 'ignore' মানটি ইনপুটের যেকোনো ভুল ফরম্যাটিং এড়িয়ে যাবে এবং কোনো সংশ্লিষ্ট আউটপুট অক্ষর তৈরি করবে না।
• replacement_char: যখন errors='replace' , তখন ইনপুটের যেকোনো ভুল ফরম্যাটিংয়ের পরিবর্তে যে প্রতিস্থাপন অক্ষর কোডপয়েন্টটি ব্যবহার করা হবে। যেকোনো বৈধ ইউনিকোড কোডপয়েন্ট ব্যবহার করা যেতে পারে। ডিফল্ট মান হলো 0xFFFD বা U+65533 (ডিফল্ট ইউনিকোড প্রতিস্থাপন অক্ষর)।

উল্লেখ্য যে, UTF-8 এর ক্ষেত্রে, ১ বাইটে প্রকাশযোগ্য কোনো প্রতিস্থাপন অক্ষর (যেমন ' ') পাস করলে তা সোর্সের সাথে স্ট্রিং অ্যালাইনমেন্ট বজায় রাখে, কারণ অবৈধ বাইটগুলো ১-বাইটের প্রতিস্থাপন অক্ষর দ্বারা প্রতিস্থাপিত হয়। UTF-16-BE এবং UTF-16-LE এর ক্ষেত্রে, যেকোনো ১ বা ২ বাইটের প্রতিস্থাপন অক্ষর সোর্সের সাথে বাইট অ্যালাইনমেন্ট বজায় রাখে।

• replace_control_characters: C0 কন্ট্রোল ক্যারেক্টারগুলোকে (00-1F) replacement_char দিয়ে প্রতিস্থাপন করা হবে কিনা। ডিফল্ট মান হলো false।

ফেরত:

• Output : output_encoding ব্যবহার করে এনকোড করা ইউনিকোড টেক্সট ধারণকারী একটি স্ট্রিং টেনসর।

নির্মাতা এবং ধ্বংসকারী
UnicodeTranscode (const :: tensorflow::Scope & scope, :: tensorflow::Input input, StringPiece input_encoding, StringPiece output_encoding)
UnicodeTranscode (const :: tensorflow::Scope & scope, :: tensorflow::Input input, StringPiece input_encoding, StringPiece output_encoding, const UnicodeTranscode::Attrs & attrs)

জনসাধারণের বৈশিষ্ট্য
operation	Operation
output	:: tensorflow::Output

জনসাধারণের কার্যাবলী
node () const	::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

পাবলিক স্ট্যাটিক ফাংশন
Errors (StringPiece x)	Attrs
ReplaceControlCharacters (bool x)	Attrs
ReplacementChar (int64 x)	Attrs

কাঠামো
tensorflow:: ops:: UnicodeTranscode:: Attrs	UnicodeTranscode-এর জন্য ঐচ্ছিক অ্যাট্রিবিউট সেটার।

জনসাধারণের বৈশিষ্ট্য

অপারেশন

Operation operation

আউটপুট

::tensorflow::Output output

জনসাধারণের কার্যাবলী

ইউনিকোড ট্রান্সকোড

 UnicodeTranscode(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  StringPiece input_encoding,
  StringPiece output_encoding
)

ইউনিকোড ট্রান্সকোড

 UnicodeTranscode(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  StringPiece input_encoding,
  StringPiece output_encoding,
  const UnicodeTranscode::Attrs & attrs
)

নোড

::tensorflow::Node * node() const 

অপারেটর::টেনসরফ্লো::ইনপুট

 operator::tensorflow::Input() const 

অপারেটর::টেনসরফ্লো::আউটপুট

 operator::tensorflow::Output() const 

পাবলিক স্ট্যাটিক ফাংশন

ত্রুটি

Attrs Errors(
  StringPiece x
)

নিয়ন্ত্রণ অক্ষরগুলি প্রতিস্থাপন করুন

Attrs ReplaceControlCharacters(
  bool x
)

প্রতিস্থাপনচার

Attrs ReplacementChar(
  int64 x
)