آموزش پردازش متن TensorFlow
با مجموعه‌ها، منظم بمانید
ذخیره و طبقه‌بندی محتوا براساس اولویت‌های شما.
آموزش های پردازش متن TensorFlow دستورالعمل های گام به گام را برای حل مشکلات رایج متن و پردازش زبان طبیعی (NLP) ارائه می دهد.
TensorFlow دو راه حل برای پردازش متن و زبان طبیعی ارائه می دهد: KerasNLP و TensorFlow Text. KerasNLP یک کتابخانه NLP سطح بالا است که شامل تمام آخرین مدل‌های مبتنی بر Transformer و همچنین ابزارهای توکن‌سازی سطح پایین‌تر است. این راه حل توصیه شده برای اکثر موارد استفاده از NLP است.
اگر نیاز به دسترسی به ابزارهای پردازش متن سطح پایین دارید، می توانید از TensorFlow Text استفاده کنید. TensorFlow Text مجموعه‌ای از عملیات‌ها و کتابخانه‌ها را فراهم می‌کند تا به شما در کار با ورودی به شکل متنی مانند رشته‌های متن خام یا اسناد کمک کند.
KerasNLP
- شروع کار با KerasNLP : KerasNLP را با انجام تجزیه و تحلیل احساسات در سطوح پیچیدگی تدریجی، از استفاده از یک مدل از پیش آموزش دیده تا ساخت ترانسفورماتور خود از ابتدا یاد بگیرید.
تولید متن
طبقه بندی متن
- طبقه بندی متن با BERT : BERT را برای انجام تجزیه و تحلیل احساسات بر روی مجموعه داده ای از نقدهای فیلم IMDb متن ساده تنظیم کنید.
- طبقه‌بندی متن با RNN : یک RNN را برای انجام تجزیه و تحلیل احساسات در بررسی فیلم‌های IMDb آموزش دهید.
- TF.Text Metrics : با معیارهای موجود از طریق TensorFlow Text آشنا شوید. این کتابخانه شامل پیاده‌سازی معیارهای مشابهت متن مانند ROUGE-L است که می‌تواند برای ارزیابی خودکار مدل‌های تولید متن استفاده شود.
NLP با BERT
جاسازی ها
جز در مواردی که غیر از این ذکر شده باشد،محتوای این صفحه تحت مجوز Creative Commons Attribution 4.0 License است. نمونه کدها نیز دارای مجوز Apache 2.0 License است. برای اطلاع از جزئیات، به خطمشیهای سایت Google Developers مراجعه کنید. جاوا علامت تجاری ثبتشده Oracle و/یا شرکتهای وابسته به آن است.
تاریخ آخرین بهروزرسانی 2023-07-27 بهوقت ساعت هماهنگ جهانی.
[null,null,["تاریخ آخرین بهروزرسانی 2023-07-27 بهوقت ساعت هماهنگ جهانی."],[],[],null,["# TensorFlow text processing tutorials\n\n\u003cbr /\u003e\n\nThe TensorFlow text processing tutorials provide step-by-step instructions for\nsolving common text and natural language processing (NLP) problems.\n\nTensorFlow provides two solutions for text and natural language processing:\nKerasNLP and TensorFlow Text. KerasNLP is a high-level NLP library that includes\nall the latest Transformer-based models as well as lower-level tokenization\nutilities. It's the recommended solution for most NLP use cases.\n\nIf you need access to lower-level text processing tools, you can use\nTensorFlow Text. TensorFlow Text provides a collection of ops and libraries to\nhelp you work with input in text form such as raw text strings or documents.\n\nKerasNLP\n--------\n\n- [Getting Started with KerasNLP](https://keras.io/guides/keras_nlp/getting_started/): Learn KerasNLP by performing sentiment analysis at progressive levels of complexity, from using a pre-trained model to building your own Transformer from scratch.\n\nText generation\n---------------\n\n- [Text generation with an RNN](https://tensorflow.org/text/tutorials/text_generation): Generate text using a character-based RNN and a dataset of Shakespeare's writing.\n- [Neural machine translation with attention](https://tensorflow.org/text/tutorials/nmt_with_attention): Train a sequence-to-sequence (seq2seq) model for Spanish-to-English translation.\n- [Neural machine translation with a Transformer and Keras](https://tensorflow.org/text/tutorials/transformer): Create and train a sequence-to-sequence Transformer model to translate Portuguese into English.\n- [Image captioning with visual attention](https://tensorflow.org/text/tutorials/image_captioning): Generate image captions using a Transformer-decoder model built with attention layers.\n\nText classification\n-------------------\n\n- [Classify text with BERT](https://tensorflow.org/text/tutorials/classify_text_with_bert): Fine-tune BERT to perform sentiment analysis on a dataset of plain-text IMDb movie reviews.\n- [Text classification with an RNN](https://tensorflow.org/text/tutorials/text_classification_rnn): Train an RNN to perform sentiment analysis on IMDb movie reviews.\n- [TF.Text Metrics](https://tensorflow.org/text/tutorials/text_similarity): Learn about the metrics available through TensorFlow Text. The library contains implementations of text-similarity metrics such as ROUGE-L, which can be used for automatic evaluation of text generation models.\n\nNLP with BERT\n-------------\n\n- [Solve GLUE tasks using BERT on TPU](https://tensorflow.org/text/tutorials/bert_glue): Learn how to fine-tune BERT for tasks from the [GLUE benchmark](https://gluebenchmark.com/).\n- [Fine-tuning a BERT model](https://tensorflow.org/tfmodels/nlp/fine_tune_bert): Fine-tune a BERT model using [TensorFlow Model Garden](https://github.com/tensorflow/models).\n- [Uncertainty-aware Deep Language Learning with BERT-SNGP](https://tensorflow.org/text/tutorials/uncertainty_quantification_with_sngp_bert): Apply [SNGP](https://arxiv.org/abs/2006.10108) to a natural language understanding (NLU) task. Building on a BERT encoder, you'll improve the NLU model's ability to detect out-of-scope queries.\n\nEmbeddings\n----------\n\n- [Word embeddings](https://tensorflow.org/text/guide/word_embeddings): Train your own word embeddings using a simple Keras model for a sentiment classification task, and then visualize them using the [Embedding Projector](https://www.tensorflow.org/tensorboard/tensorboard_projector_plugin).\n- [Warm-start embedding layer matrix](https://tensorflow.org/text/tutorials/warmstart_embedding_matrix): Learn how to \"warm-start\" training for a text sentiment classification model.\n- [word2vec](https://tensorflow.org/text/tutorials/word2vec): Train a word2vec model on a small dataset and visualize the trained embeddings in the [Embedding Projector](https://www.tensorflow.org/tensorboard/tensorboard_projector_plugin)."]]
