টেনসরফ্লো টেক্সট প্রসেসিং টিউটোরিয়াল
সেভ করা পৃষ্ঠা গুছিয়ে রাখতে 'সংগ্রহ' ব্যবহার করুন
আপনার পছন্দ অনুযায়ী কন্টেন্ট সেভ করুন ও সঠিক বিভাগে রাখুন।
TensorFlow পাঠ্য প্রক্রিয়াকরণ টিউটোরিয়ালগুলি সাধারণ পাঠ্য এবং প্রাকৃতিক ভাষা প্রক্রিয়াকরণ (NLP) সমস্যা সমাধানের জন্য ধাপে ধাপে নির্দেশাবলী প্রদান করে।
TensorFlow পাঠ্য এবং প্রাকৃতিক ভাষা প্রক্রিয়াকরণের জন্য দুটি সমাধান প্রদান করে: KerasNLP এবং TensorFlow পাঠ্য। কেরাসএনএলপি হল একটি উচ্চ-স্তরের NLP লাইব্রেরি যাতে সমস্ত সাম্প্রতিক ট্রান্সফরমার-ভিত্তিক মডেলগুলির পাশাপাশি নিম্ন-স্তরের টোকেনাইজেশন ইউটিলিটিগুলি অন্তর্ভুক্ত রয়েছে। এটি বেশিরভাগ এনএলপি ব্যবহারের ক্ষেত্রে প্রস্তাবিত সমাধান।
আপনার যদি নিম্ন-স্তরের পাঠ্য প্রক্রিয়াকরণ সরঞ্জামগুলিতে অ্যাক্সেসের প্রয়োজন হয় তবে আপনি টেনসরফ্লো পাঠ্য ব্যবহার করতে পারেন। টেন্সরফ্লো টেক্সট অপারেটিং সিস্টেম এবং লাইব্রেরির একটি সংগ্রহ প্রদান করে যা আপনাকে টেক্সট আকারে ইনপুট যেমন কাঁচা টেক্সট স্ট্রিং বা নথিতে কাজ করতে সাহায্য করে।
কেরাসএনএলপি
- কেরাসএনএলপি দিয়ে শুরু করা : প্রাক-প্রশিক্ষিত মডেল ব্যবহার করা থেকে শুরু করে আপনার নিজস্ব ট্রান্সফরমার তৈরি করা পর্যন্ত জটিলতার প্রগতিশীল স্তরে অনুভূতি বিশ্লেষণ করে KerasNLP শিখুন।
পাঠ্য প্রজন্ম
পাঠ্য শ্রেণিবিন্যাস
- BERT এর সাথে পাঠ্যকে শ্রেণীবদ্ধ করুন : প্লেইন-টেক্সট IMDb মুভি পর্যালোচনার ডেটাসেটে অনুভূতি বিশ্লেষণ করতে BERT সূক্ষ্ম সুর করুন।
- একটি RNN এর সাথে পাঠ্য শ্রেণীবিভাগ : IMDb মুভি রিভিউতে অনুভূতি বিশ্লেষণ করার জন্য একটি RNN কে প্রশিক্ষণ দিন।
- TF.Text মেট্রিক্স : TensorFlow Text এর মাধ্যমে উপলব্ধ মেট্রিক্স সম্পর্কে জানুন। লাইব্রেরিতে পাঠ্য-সাদৃশ্য মেট্রিক্সের বাস্তবায়ন রয়েছে যেমন ROUGE-L, যা পাঠ্য প্রজন্মের মডেলগুলির স্বয়ংক্রিয় মূল্যায়নের জন্য ব্যবহার করা যেতে পারে।
BERT এর সাথে NLP
এমবেডিং
অন্য কিছু উল্লেখ না করা থাকলে, এই পৃষ্ঠার কন্টেন্ট Creative Commons Attribution 4.0 License-এর অধীনে এবং কোডের নমুনাগুলি Apache 2.0 License-এর অধীনে লাইসেন্স প্রাপ্ত। আরও জানতে, Google Developers সাইট নীতি দেখুন। Java হল Oracle এবং/অথবা তার অ্যাফিলিয়েট সংস্থার রেজিস্টার্ড ট্রেডমার্ক।
2023-07-27 UTC-তে শেষবার আপডেট করা হয়েছে।
[null,null,["2023-07-27 UTC-তে শেষবার আপডেট করা হয়েছে।"],[],[],null,["# TensorFlow text processing tutorials\n\n\u003cbr /\u003e\n\nThe TensorFlow text processing tutorials provide step-by-step instructions for\nsolving common text and natural language processing (NLP) problems.\n\nTensorFlow provides two solutions for text and natural language processing:\nKerasNLP and TensorFlow Text. KerasNLP is a high-level NLP library that includes\nall the latest Transformer-based models as well as lower-level tokenization\nutilities. It's the recommended solution for most NLP use cases.\n\nIf you need access to lower-level text processing tools, you can use\nTensorFlow Text. TensorFlow Text provides a collection of ops and libraries to\nhelp you work with input in text form such as raw text strings or documents.\n\nKerasNLP\n--------\n\n- [Getting Started with KerasNLP](https://keras.io/guides/keras_nlp/getting_started/): Learn KerasNLP by performing sentiment analysis at progressive levels of complexity, from using a pre-trained model to building your own Transformer from scratch.\n\nText generation\n---------------\n\n- [Text generation with an RNN](https://tensorflow.org/text/tutorials/text_generation): Generate text using a character-based RNN and a dataset of Shakespeare's writing.\n- [Neural machine translation with attention](https://tensorflow.org/text/tutorials/nmt_with_attention): Train a sequence-to-sequence (seq2seq) model for Spanish-to-English translation.\n- [Neural machine translation with a Transformer and Keras](https://tensorflow.org/text/tutorials/transformer): Create and train a sequence-to-sequence Transformer model to translate Portuguese into English.\n- [Image captioning with visual attention](https://tensorflow.org/text/tutorials/image_captioning): Generate image captions using a Transformer-decoder model built with attention layers.\n\nText classification\n-------------------\n\n- [Classify text with BERT](https://tensorflow.org/text/tutorials/classify_text_with_bert): Fine-tune BERT to perform sentiment analysis on a dataset of plain-text IMDb movie reviews.\n- [Text classification with an RNN](https://tensorflow.org/text/tutorials/text_classification_rnn): Train an RNN to perform sentiment analysis on IMDb movie reviews.\n- [TF.Text Metrics](https://tensorflow.org/text/tutorials/text_similarity): Learn about the metrics available through TensorFlow Text. The library contains implementations of text-similarity metrics such as ROUGE-L, which can be used for automatic evaluation of text generation models.\n\nNLP with BERT\n-------------\n\n- [Solve GLUE tasks using BERT on TPU](https://tensorflow.org/text/tutorials/bert_glue): Learn how to fine-tune BERT for tasks from the [GLUE benchmark](https://gluebenchmark.com/).\n- [Fine-tuning a BERT model](https://tensorflow.org/tfmodels/nlp/fine_tune_bert): Fine-tune a BERT model using [TensorFlow Model Garden](https://github.com/tensorflow/models).\n- [Uncertainty-aware Deep Language Learning with BERT-SNGP](https://tensorflow.org/text/tutorials/uncertainty_quantification_with_sngp_bert): Apply [SNGP](https://arxiv.org/abs/2006.10108) to a natural language understanding (NLU) task. Building on a BERT encoder, you'll improve the NLU model's ability to detect out-of-scope queries.\n\nEmbeddings\n----------\n\n- [Word embeddings](https://tensorflow.org/text/guide/word_embeddings): Train your own word embeddings using a simple Keras model for a sentiment classification task, and then visualize them using the [Embedding Projector](https://www.tensorflow.org/tensorboard/tensorboard_projector_plugin).\n- [Warm-start embedding layer matrix](https://tensorflow.org/text/tutorials/warmstart_embedding_matrix): Learn how to \"warm-start\" training for a text sentiment classification model.\n- [word2vec](https://tensorflow.org/text/tutorials/word2vec): Train a word2vec model on a small dataset and visualize the trained embeddings in the [Embedding Projector](https://www.tensorflow.org/tensorboard/tensorboard_projector_plugin)."]]
