מדריך לעיבוד טקסט של TensorFlow
קל לארגן דפים בעזרת אוספים
אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.
המדריך לעיבוד טקסט של TensorFlow מתעד ספריות וזרימות עבודה לעיבוד שפה טבעית (NLP) ומציג מושגים חשובים לעבודה עם טקסט.
KerasNLP
KerasNLP היא ספריית עיבוד שפה טבעית ברמה גבוהה (NLP) הכוללת את כל הדגמים העדכניים ביותר מבוססי רובוטריקים וכן כלי עזר לטוקניזציה ברמה נמוכה יותר. זה הפתרון המומלץ עבור רוב מקרי השימוש ב-NLP.
- תחילת העבודה עם KerasNLP : למד KerasNLP על ידי ביצוע ניתוח סנטימנטים ברמות מורכבות מתקדמת, משימוש במודל מאומן מראש ועד לבניית שנאי משלך מאפס.
מודול tf.strings מספק פעולות לעבודה עם Tensors מחרוזות.
- מחרוזות Unicode : ייצג מחרוזות Unicode ב-TensorFlow ותפעל אותן באמצעות מקבילות Unicode של פעולות מחרוזות סטנדרטיות.
טקסט TensorFlow
אם אתה צריך גישה לכלי עיבוד טקסט ברמה נמוכה יותר, אתה יכול להשתמש ב- TensorFlow Text. TensorFlow Text מספק אוסף של פעולות וספריות כדי לעזור לך לעבוד עם קלט בצורת טקסט כגון מחרוזות טקסט גולמיות או מסמכים.
עיבוד מקדים
דגמי TensorFlow – NLP
ספריית TensorFlow Models - NLP מספקת פרימיטיבים של Keras שניתן להרכיב למודלים מבוססי שנאי, ושיעורי פיגומים המאפשרים ניסוי קל בארכיטקטורות חדשניות.
אלא אם צוין אחרת, התוכן של דף זה הוא ברישיון Creative Commons Attribution 4.0 ודוגמאות הקוד הן ברישיון Apache 2.0. לפרטים, ניתן לעיין במדיניות האתר Google Developers. Java הוא סימן מסחרי רשום של חברת Oracle ו/או של השותפים העצמאיים שלה.
עדכון אחרון: 2023-07-27 (שעון UTC).
[null,null,["עדכון אחרון: 2023-07-27 (שעון UTC)."],[],[],null,["# TensorFlow text processing guide\n\n\u003cbr /\u003e\n\nThe TensorFlow text processing guide documents libraries and workflows for\nnatural language processing (NLP) and introduces important concepts for working\nwith text.\n\nKerasNLP\n--------\n\nKerasNLP is a high-level natural language processing (NLP) library that includes\nall the latest Transformer-based models as well as lower-level tokenization\nutilities. It's the recommended solution for most NLP use cases.\n\n- [Getting Started with KerasNLP](https://keras.io/guides/keras_nlp/getting_started/): Learn KerasNLP by performing sentiment analysis at progressive levels of complexity, from using a pre-trained model to building your own Transformer from scratch.\n\n[`tf.strings`](https://www.tensorflow.org/api_docs/python/tf/strings)\n---------------------------------------------------------------------\n\nThe [`tf.strings`](https://www.tensorflow.org/api_docs/python/tf/strings) module provides operations for working with string Tensors.\n\n- [Unicode strings](https://tensorflow.org/text/guide/unicode): Represent Unicode strings in TensorFlow and manipulate them using Unicode equivalents of standard string ops.\n\nTensorFlow Text\n---------------\n\nIf you need access to lower-level text processing tools, you can use TensorFlow\nText. TensorFlow Text provides a collection of ops and libraries to help you\nwork with input in text form such as raw text strings or documents.\n\n- [Introduction to TensorFlow Text](https://tensorflow.org/text/guide/tf_text_intro): Learn how to install TensorFlow Text or build it from source.\n- [Converting TensorFlow Text operators to TensorFlow Lite](https://tensorflow.org/text/guide/text_tf_lite): Convert a TensorFlow Text model to TensorFlow Lite for deployment to mobile, embedded, and IoT devices.\n\n### Pre-processing\n\n- [BERT Preprocessing with TF Text](https://tensorflow.org/text/guide/bert_preprocessing_guide): Use TensorFlow Text preprocessing ops to transform text data into inputs for BERT.\n- [Tokenizing with TF Text](https://tensorflow.org/text/guide/tokenizers): Understand the tokenization options provided by TensorFlow Text. Learn when you might want to use one option over another, and how these tokenizers are called from within your model.\n- [Subword tokenizers](https://tensorflow.org/text/guide/subwords_tokenizer): Generate a subword vocabulary from a dataset, and use it to build a [`text.BertTokenizer`](https://www.tensorflow.org/text/api_docs/python/text/BertTokenizer) from the vocabulary.\n\nTensorFlow models -- NLP\n------------------------\n\nThe TensorFlow Models - NLP library provides Keras primitives that can be\nassembled into Transformer-based models, and scaffold classes that enable easy\nexperimentation with novel architectures.\n\n- [Introduction to the TensorFlow Models NLP library](https://tensorflow.org/tfmodels/nlp): Build Transformer-based models for common NLP tasks including pre-training, span labelling, and classification using building blocks from the [NLP modeling library](https://github.com/tensorflow/models/tree/master/official/nlp/modeling).\n- [Customizing a Transformer Encoder](https://tensorflow.org/tfmodels/nlp/customize_encoder): Customize [`tfm.nlp.networks.EncoderScaffold`](https://www.tensorflow.org/api_docs/python/tfm/nlp/networks/EncoderScaffold), a bi-directional Transformer-based encoder network scaffold, to employ new network architectures."]]
