راهنمای پردازش متن TensorFlow
با مجموعه‌ها، منظم بمانید
ذخیره و طبقه‌بندی محتوا براساس اولویت‌های شما.
راهنمای پردازش متن TensorFlow کتابخانه‌ها و گردش‌های کاری برای پردازش زبان طبیعی (NLP) را مستند می‌کند و مفاهیم مهمی را برای کار با متن معرفی می‌کند.
KerasNLP
KerasNLP یک کتابخانه پردازش زبان طبیعی (NLP) سطح بالا است که شامل تمام آخرین مدل‌های مبتنی بر ترانسفورماتور و همچنین ابزارهای توکن‌سازی سطح پایین‌تر است. این راه حل توصیه شده برای اکثر موارد استفاده از NLP است.
- شروع کار با KerasNLP : KerasNLP را با انجام تجزیه و تحلیل احساسات در سطوح پیچیدگی تدریجی، از استفاده از یک مدل از پیش آموزش دیده تا ساخت ترانسفورماتور خود از ابتدا یاد بگیرید.
ماژول tf.strings عملیاتی را برای کار با تانسورهای رشته ارائه می کند.
- رشته‌های یونیکد : رشته‌های یونیکد را در TensorFlow نشان می‌دهند و آنها را با استفاده از معادل‌های یونیکد عملیات‌های رشته استاندارد دستکاری می‌کنند.
متن TensorFlow
اگر نیاز به دسترسی به ابزارهای پردازش متن سطح پایین دارید، می توانید از TensorFlow Text استفاده کنید. TensorFlow Text مجموعه‌ای از عملیات‌ها و کتابخانه‌ها را فراهم می‌کند تا به شما در کار با ورودی به شکل متنی مانند رشته‌های متن خام یا اسناد کمک کند.
پیش پردازش
- پیش پردازش BERT با TF Text : از عملیات پیش پردازش متن TensorFlow برای تبدیل داده های متنی به ورودی برای BERT استفاده کنید.
- Tokenization با TF Text : گزینه های توکن سازی ارائه شده توسط TensorFlow Text را درک کنید. بیاموزید که چه زمانی ممکن است بخواهید از یک گزینه نسبت به گزینه دیگر استفاده کنید، و چگونه این توکنایزرها از داخل مدل شما فراخوانی می شوند.
- توکنایزرهای زیرکلمه : واژگان زیرکلمه ای را از مجموعه داده ایجاد کنید و از آن برای ساختن یک متن استفاده کنید
text.BertTokenizer از واژگان.
مدل های TensorFlow - NLP
کتابخانه TensorFlow Models - NLP، اولیه‌های Keras را ارائه می‌کند که می‌توانند در مدل‌های مبتنی بر ترانسفورماتور مونتاژ شوند، و کلاس‌های داربست که آزمایش آسان با معماری‌های جدید را امکان‌پذیر می‌سازد.
جز در مواردی که غیر از این ذکر شده باشد،محتوای این صفحه تحت مجوز Creative Commons Attribution 4.0 License است. نمونه کدها نیز دارای مجوز Apache 2.0 License است. برای اطلاع از جزئیات، به خطمشیهای سایت Google Developers مراجعه کنید. جاوا علامت تجاری ثبتشده Oracle و/یا شرکتهای وابسته به آن است.
تاریخ آخرین بهروزرسانی 2023-07-27 بهوقت ساعت هماهنگ جهانی.
[null,null,["تاریخ آخرین بهروزرسانی 2023-07-27 بهوقت ساعت هماهنگ جهانی."],[],[],null,["# TensorFlow text processing guide\n\n\u003cbr /\u003e\n\nThe TensorFlow text processing guide documents libraries and workflows for\nnatural language processing (NLP) and introduces important concepts for working\nwith text.\n\nKerasNLP\n--------\n\nKerasNLP is a high-level natural language processing (NLP) library that includes\nall the latest Transformer-based models as well as lower-level tokenization\nutilities. It's the recommended solution for most NLP use cases.\n\n- [Getting Started with KerasNLP](https://keras.io/guides/keras_nlp/getting_started/): Learn KerasNLP by performing sentiment analysis at progressive levels of complexity, from using a pre-trained model to building your own Transformer from scratch.\n\n[`tf.strings`](https://www.tensorflow.org/api_docs/python/tf/strings)\n---------------------------------------------------------------------\n\nThe [`tf.strings`](https://www.tensorflow.org/api_docs/python/tf/strings) module provides operations for working with string Tensors.\n\n- [Unicode strings](https://tensorflow.org/text/guide/unicode): Represent Unicode strings in TensorFlow and manipulate them using Unicode equivalents of standard string ops.\n\nTensorFlow Text\n---------------\n\nIf you need access to lower-level text processing tools, you can use TensorFlow\nText. TensorFlow Text provides a collection of ops and libraries to help you\nwork with input in text form such as raw text strings or documents.\n\n- [Introduction to TensorFlow Text](https://tensorflow.org/text/guide/tf_text_intro): Learn how to install TensorFlow Text or build it from source.\n- [Converting TensorFlow Text operators to TensorFlow Lite](https://tensorflow.org/text/guide/text_tf_lite): Convert a TensorFlow Text model to TensorFlow Lite for deployment to mobile, embedded, and IoT devices.\n\n### Pre-processing\n\n- [BERT Preprocessing with TF Text](https://tensorflow.org/text/guide/bert_preprocessing_guide): Use TensorFlow Text preprocessing ops to transform text data into inputs for BERT.\n- [Tokenizing with TF Text](https://tensorflow.org/text/guide/tokenizers): Understand the tokenization options provided by TensorFlow Text. Learn when you might want to use one option over another, and how these tokenizers are called from within your model.\n- [Subword tokenizers](https://tensorflow.org/text/guide/subwords_tokenizer): Generate a subword vocabulary from a dataset, and use it to build a [`text.BertTokenizer`](https://www.tensorflow.org/text/api_docs/python/text/BertTokenizer) from the vocabulary.\n\nTensorFlow models -- NLP\n------------------------\n\nThe TensorFlow Models - NLP library provides Keras primitives that can be\nassembled into Transformer-based models, and scaffold classes that enable easy\nexperimentation with novel architectures.\n\n- [Introduction to the TensorFlow Models NLP library](https://tensorflow.org/tfmodels/nlp): Build Transformer-based models for common NLP tasks including pre-training, span labelling, and classification using building blocks from the [NLP modeling library](https://github.com/tensorflow/models/tree/master/official/nlp/modeling).\n- [Customizing a Transformer Encoder](https://tensorflow.org/tfmodels/nlp/customize_encoder): Customize [`tfm.nlp.networks.EncoderScaffold`](https://www.tensorflow.org/api_docs/python/tfm/nlp/networks/EncoderScaffold), a bi-directional Transformer-based encoder network scaffold, to employ new network architectures."]]
