دليل معالجة النصوص TensorFlow
تنظيم صفحاتك في مجموعات
يمكنك حفظ المحتوى وتصنيفه حسب إعداداتك المفضّلة.
دليل معالجة النصوص TensorFlow مكتبات المستندات وسير العمل لمعالجة اللغة الطبيعية (NLP) ويقدم مفاهيم مهمة للعمل مع النص.
KerasNLP
KerasNLP هي مكتبة عالية المستوى لمعالجة اللغة الطبيعية (NLP) تتضمن جميع أحدث النماذج المستندة إلى Transformer بالإضافة إلى أدوات الترميز ذات المستوى المنخفض. إنه الحل الموصى به لمعظم حالات استخدام البرمجة اللغوية العصبية.
- الشروع في العمل مع KerasNLP : تعلم KerasNLP من خلال إجراء تحليل المشاعر بمستويات تقدمية من التعقيد ، من استخدام نموذج مدرب مسبقًا إلى بناء محولك الخاص من نقطة الصفر.
توفر الوحدة tf.strings عمليات للعمل مع موتر السلسلة.
- سلاسل Unicode : تمثيل سلاسل Unicode في TensorFlow ومعالجتها باستخدام معادلات Unicode من عمليات السلسلة القياسية.
نص TensorFlow
إذا كنت بحاجة إلى الوصول إلى أدوات معالجة النصوص ذات المستوى الأدنى ، فيمكنك استخدام TensorFlow Text. يوفر TensorFlow Text مجموعة من العمليات والمكتبات لمساعدتك في العمل مع الإدخال في نموذج نص مثل سلاسل النص الخام أو المستندات.
ما قبل المعالجة
نماذج TensorFlow - البرمجة اللغوية العصبية
توفر مكتبة TensorFlow - مكتبة البرمجة اللغوية العصبية (NLP) بدائل Keras التي يمكن تجميعها في نماذج قائمة على المحولات ، وفئات سقالة تتيح إجراء تجارب سهلة باستخدام بنى جديدة.
إنّ محتوى هذه الصفحة مرخّص بموجب ترخيص Creative Commons Attribution 4.0 ما لم يُنصّ على خلاف ذلك، ونماذج الرموز مرخّصة بموجب ترخيص Apache 2.0. للاطّلاع على التفاصيل، يُرجى مراجعة سياسات موقع Google Developers. إنّ Java هي علامة تجارية مسجَّلة لشركة Oracle و/أو شركائها التابعين.
تاريخ التعديل الأخير: 2023-07-27 (حسب التوقيت العالمي المتفَّق عليه)
[null,null,["تاريخ التعديل الأخير: 2023-07-27 (حسب التوقيت العالمي المتفَّق عليه)"],[],[],null,["# TensorFlow text processing guide\n\n\u003cbr /\u003e\n\nThe TensorFlow text processing guide documents libraries and workflows for\nnatural language processing (NLP) and introduces important concepts for working\nwith text.\n\nKerasNLP\n--------\n\nKerasNLP is a high-level natural language processing (NLP) library that includes\nall the latest Transformer-based models as well as lower-level tokenization\nutilities. It's the recommended solution for most NLP use cases.\n\n- [Getting Started with KerasNLP](https://keras.io/guides/keras_nlp/getting_started/): Learn KerasNLP by performing sentiment analysis at progressive levels of complexity, from using a pre-trained model to building your own Transformer from scratch.\n\n[`tf.strings`](https://www.tensorflow.org/api_docs/python/tf/strings)\n---------------------------------------------------------------------\n\nThe [`tf.strings`](https://www.tensorflow.org/api_docs/python/tf/strings) module provides operations for working with string Tensors.\n\n- [Unicode strings](https://tensorflow.org/text/guide/unicode): Represent Unicode strings in TensorFlow and manipulate them using Unicode equivalents of standard string ops.\n\nTensorFlow Text\n---------------\n\nIf you need access to lower-level text processing tools, you can use TensorFlow\nText. TensorFlow Text provides a collection of ops and libraries to help you\nwork with input in text form such as raw text strings or documents.\n\n- [Introduction to TensorFlow Text](https://tensorflow.org/text/guide/tf_text_intro): Learn how to install TensorFlow Text or build it from source.\n- [Converting TensorFlow Text operators to TensorFlow Lite](https://tensorflow.org/text/guide/text_tf_lite): Convert a TensorFlow Text model to TensorFlow Lite for deployment to mobile, embedded, and IoT devices.\n\n### Pre-processing\n\n- [BERT Preprocessing with TF Text](https://tensorflow.org/text/guide/bert_preprocessing_guide): Use TensorFlow Text preprocessing ops to transform text data into inputs for BERT.\n- [Tokenizing with TF Text](https://tensorflow.org/text/guide/tokenizers): Understand the tokenization options provided by TensorFlow Text. Learn when you might want to use one option over another, and how these tokenizers are called from within your model.\n- [Subword tokenizers](https://tensorflow.org/text/guide/subwords_tokenizer): Generate a subword vocabulary from a dataset, and use it to build a [`text.BertTokenizer`](https://www.tensorflow.org/text/api_docs/python/text/BertTokenizer) from the vocabulary.\n\nTensorFlow models -- NLP\n------------------------\n\nThe TensorFlow Models - NLP library provides Keras primitives that can be\nassembled into Transformer-based models, and scaffold classes that enable easy\nexperimentation with novel architectures.\n\n- [Introduction to the TensorFlow Models NLP library](https://tensorflow.org/tfmodels/nlp): Build Transformer-based models for common NLP tasks including pre-training, span labelling, and classification using building blocks from the [NLP modeling library](https://github.com/tensorflow/models/tree/master/official/nlp/modeling).\n- [Customizing a Transformer Encoder](https://tensorflow.org/tfmodels/nlp/customize_encoder): Customize [`tfm.nlp.networks.EncoderScaffold`](https://www.tensorflow.org/api_docs/python/tfm/nlp/networks/EncoderScaffold), a bi-directional Transformer-based encoder network scaffold, to employ new network architectures."]]
