tensorflow:: ops:: UnicodeTranscode

#include <string_ops.h>

קידוד מחדש של טקסט הקלט מקידוד מקור לקידוד יעד.

תַקצִיר

הקלט הוא טנזור מחרוזת מכל צורה שהיא. הפלט הוא טנזור מחרוזת באותה צורה המכיל את המחרוזות שעברו קידוד מחדש. מחרוזות פלט הן תמיד ביוניקוד תקפות. אם הקלט מכיל מיקומי קידוד לא חוקיים, התכונה errors קובעת את המדיניות כיצד לטפל בהן. אם נעשה שימוש במדיניות ברירת המחדל לטיפול בשגיאות, עיצוב לא חוקי יוחלף בפלט על ידי replacement_char . אם מדיניות errors היא ignore , כל מיקומי קידוד לא חוקיים בקלט מדוללים ולא ייכללו בפלט. אם התכונה מוגדרת ל- strict , כל עיצוב לא חוקי יגרום לשגיאת InvalidArgument.

ניתן להשתמש בפעולה זו עם output_encoding = input_encoding כדי לאכוף עיצוב נכון עבור קלטים גם אם הם כבר נמצאים בקידוד הרצוי.

אם לקלט קידומת סימן סדר בתים (Byte Order Mark) הדרוש לקביעת הקידוד (למשל, אם הקידוד הוא UTF-16 וה-BOM מציין big-endian), אזי ה-BOM ייצרך ולא ייפלט לפלט. אם קידוד הקלט מסומן ב-endianness מפורש (למשל, UTF-16-BE), אזי ה-BOM מתפרש כרווח שאינו שובר ונשמר בפלט (כולל תמיד עבור UTF-8).

התוצאה הסופית היא שאם הקלט מסומן כקצה מפורש, הקידוד המחודש נאמן לכל נקודות הקוד במקור. אם הוא אינו מסומן בקצה מפורש, ה-BOM אינו נחשב לחלק מהמחרוזת עצמה אלא כמטא-דאטה, ולכן אינו נשמר בפלט.

טיעונים:

  • היקף: אובייקט היקף
  • קלט: הטקסט שיש לעבד. יכול להיות בעל כל צורה.
  • input_encoding: קידוד טקסט של מחרוזות הקלט. זהו כל אחד מהקידודים הנתמכים על ידי ממירים אלגוריתמיים של ICU ucnv. דוגמאות: "UTF-16", "US ASCII", "UTF-8" .
  • output_encoding: קידוד יוניקוד שיש להשתמש בו בפלט. חייב להיות אחד מ- "UTF-8", "UTF-16-BE", "UTF-32-BE" . קידודים מרובי בייט יהיו ביג-אנדיאן.

מאפיינים אופציונליים (ראה Attrs ):

  • שגיאות: מדיניות טיפול בשגיאות כאשר נמצא עיצוב לא חוקי בקלט. הערך 'strict' יגרום לפעולה לייצר שגיאת InvalidArgument בכל עיצוב קלט לא חוקי. ערך 'replace' (ברירת המחדל) יגרום לפעולה להחליף כל עיצוב לא חוקי בקלט בנקודת הקוד replacement_char . ערך 'ignore' יגרום לפעולה לדלג על כל עיצוב לא חוקי בקלט ולא לייצר תו פלט תואם.
  • replacement_char: קודקוד תו ההחלפה שיש להשתמש בו במקום כל עיצוב לא חוקי בקלט כאשר errors='replace' . ניתן להשתמש בכל קודקוד יוניקוד חוקי. ערך ברירת המחדל הוא תו יוניקוד חלופי המוגדר כברירת מחדל, 0xFFFD או U+65533.)

שים לב שעבור UTF-8, העברת תו חלופי הניתן לבטא בבייט אחד, כגון ' ', תשמור על יישור המחרוזת למקור מכיוון שבייטים לא חוקיים יוחלפו בתו חלופי של בייט אחד. עבור UTF-16-BE ו-UTF-16-LE, כל תו חלופי של בייט אחד או שניים ישמור על יישור הבייטים למקור.

  • replace_control_characters: האם להחליף את תווי הבקרה C0 (00-1F) ב- replacement_char . ברירת המחדל היא false.

החזרות:

  • Output : טנזור מחרוזת המכיל טקסט יוניקוד מקודד באמצעות output_encoding .

בנאים והורסים

UnicodeTranscode (const :: tensorflow::Scope & scope, :: tensorflow::Input input, StringPiece input_encoding, StringPiece output_encoding)
UnicodeTranscode (const :: tensorflow::Scope & scope, :: tensorflow::Input input, StringPiece input_encoding, StringPiece output_encoding, const UnicodeTranscode::Attrs & attrs)

מאפיינים ציבוריים

operation
output

תפקידים ציבוריים

node () const
::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

פונקציות סטטיות ציבוריות

Errors (StringPiece x)
ReplaceControlCharacters (bool x)
ReplacementChar (int64 x)

מבנים

tensorflow:: ops:: UnicodeTranscode:: Attrs

קובעי מאפיינים אופציונליים עבור UnicodeTranscode .

מאפיינים ציבוריים

מִבצָע 

Operation operation

תְפוּקָה 

::tensorflow::Output output

תפקידים ציבוריים

יוניקוד טרנסקוד 

 UnicodeTranscode(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  StringPiece input_encoding,
  StringPiece output_encoding
)

יוניקוד טרנסקוד 

 UnicodeTranscode(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  StringPiece input_encoding,
  StringPiece output_encoding,
  const UnicodeTranscode::Attrs & attrs
)

צוֹמֶת 

::tensorflow::Node * node() const

אופרטור::tensorflow::קלט 

 operator::tensorflow::Input() const

אופרטור::tensorflow::פלט 

 operator::tensorflow::Output() const

פונקציות סטטיות ציבוריות

שגיאות 

Attrs Errors(
  StringPiece x
)

החלפת תווי בקרה 

Attrs ReplaceControlCharacters(
  bool x
)

החלפת Char 

Attrs ReplacementChar(
  int64 x
)