টেনসরফ্লো টেক্সট প্রসেসিং গাইড
সেভ করা পৃষ্ঠা গুছিয়ে রাখতে 'সংগ্রহ' ব্যবহার করুন
আপনার পছন্দ অনুযায়ী কন্টেন্ট সেভ করুন ও সঠিক বিভাগে রাখুন।
টেনসরফ্লো টেক্সট প্রসেসিং গাইড ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং (এনএলপি) এর জন্য লাইব্রেরি এবং ওয়ার্কফ্লো ডকুমেন্ট করে এবং টেক্সটের সাথে কাজ করার জন্য গুরুত্বপূর্ণ ধারণাগুলি প্রবর্তন করে।
কেরাসএনএলপি
কেরাসএনএলপি হল একটি উচ্চ-স্তরের প্রাকৃতিক ভাষা প্রক্রিয়াকরণ (এনএলপি) লাইব্রেরি যাতে সমস্ত সাম্প্রতিক ট্রান্সফরমার-ভিত্তিক মডেলগুলির পাশাপাশি নিম্ন-স্তরের টোকেনাইজেশন ইউটিলিটিগুলি অন্তর্ভুক্ত রয়েছে। এটি বেশিরভাগ এনএলপি ব্যবহারের ক্ষেত্রে প্রস্তাবিত সমাধান।
- কেরাসএনএলপি দিয়ে শুরু করা : প্রাক-প্রশিক্ষিত মডেল ব্যবহার করা থেকে শুরু করে আপনার নিজস্ব ট্রান্সফরমার তৈরি করা পর্যন্ত জটিলতার প্রগতিশীল স্তরে অনুভূতি বিশ্লেষণ করে KerasNLP শিখুন।
tf.strings মডিউল স্ট্রিং টেনসরের সাথে কাজ করার জন্য অপারেশন প্রদান করে।
- ইউনিকোড স্ট্রিং : টেনসরফ্লোতে ইউনিকোড স্ট্রিংগুলিকে প্রতিনিধিত্ব করুন এবং স্ট্যান্ডার্ড স্ট্রিং অপসের ইউনিকোড সমতুল্য ব্যবহার করে সেগুলিকে ম্যানিপুলেট করুন।
টেনসরফ্লো টেক্সট
আপনার যদি নিম্ন-স্তরের পাঠ্য প্রক্রিয়াকরণ সরঞ্জামগুলিতে অ্যাক্সেসের প্রয়োজন হয় তবে আপনি টেনসরফ্লো পাঠ্য ব্যবহার করতে পারেন। টেন্সরফ্লো টেক্সট অপারেটিং সিস্টেম এবং লাইব্রেরির একটি সংগ্রহ প্রদান করে যা আপনাকে টেক্সট আকারে ইনপুট যেমন কাঁচা টেক্সট স্ট্রিং বা নথিতে কাজ করতে সাহায্য করে।
প্রি-প্রসেসিং
- TF টেক্সট সহ BERT প্রিপ্রসেসিং : BERT-এর জন্য ইনপুটগুলিতে টেক্সট ডেটা রূপান্তর করতে টেনসরফ্লো টেক্সট প্রিপ্রসেসিং অপ্স ব্যবহার করুন।
- TF পাঠ্যের সাথে টোকেনাইজিং : টেনসরফ্লো টেক্সট দ্বারা প্রদত্ত টোকেনাইজেশন বিকল্পগুলি বুঝুন। আপনি কখন একটি বিকল্পের উপর অন্যটি ব্যবহার করতে চান এবং কীভাবে এই টোকেনাইজারগুলিকে আপনার মডেলের মধ্যে থেকে ডাকা হয় তা জানুন।
- সাবওয়ার্ড টোকেনাইজার : একটি ডেটাসেট থেকে একটি সাবওয়ার্ড শব্দভাণ্ডার তৈরি করুন এবং একটি পাঠ্য তৈরি করতে এটি ব্যবহার করুন৷ শব্দভাণ্ডার থেকে
text.BertTokenizer ৷
টেনসরফ্লো মডেল - এনএলপি
টেনসরফ্লো মডেল - এনএলপি লাইব্রেরি কেরাস প্রিমিটিভস সরবরাহ করে যা ট্রান্সফরমার-ভিত্তিক মডেলগুলিতে একত্রিত করা যেতে পারে, এবং স্ক্যাফোল্ড ক্লাস যা অভিনব স্থাপত্যের সাথে সহজ পরীক্ষা-নিরীক্ষা সক্ষম করে।
অন্য কিছু উল্লেখ না করা থাকলে, এই পৃষ্ঠার কন্টেন্ট Creative Commons Attribution 4.0 License-এর অধীনে এবং কোডের নমুনাগুলি Apache 2.0 License-এর অধীনে লাইসেন্স প্রাপ্ত। আরও জানতে, Google Developers সাইট নীতি দেখুন। Java হল Oracle এবং/অথবা তার অ্যাফিলিয়েট সংস্থার রেজিস্টার্ড ট্রেডমার্ক।
2023-07-27 UTC-তে শেষবার আপডেট করা হয়েছে।
[null,null,["2023-07-27 UTC-তে শেষবার আপডেট করা হয়েছে।"],[],[],null,["# TensorFlow text processing guide\n\n\u003cbr /\u003e\n\nThe TensorFlow text processing guide documents libraries and workflows for\nnatural language processing (NLP) and introduces important concepts for working\nwith text.\n\nKerasNLP\n--------\n\nKerasNLP is a high-level natural language processing (NLP) library that includes\nall the latest Transformer-based models as well as lower-level tokenization\nutilities. It's the recommended solution for most NLP use cases.\n\n- [Getting Started with KerasNLP](https://keras.io/guides/keras_nlp/getting_started/): Learn KerasNLP by performing sentiment analysis at progressive levels of complexity, from using a pre-trained model to building your own Transformer from scratch.\n\n[`tf.strings`](https://www.tensorflow.org/api_docs/python/tf/strings)\n---------------------------------------------------------------------\n\nThe [`tf.strings`](https://www.tensorflow.org/api_docs/python/tf/strings) module provides operations for working with string Tensors.\n\n- [Unicode strings](https://tensorflow.org/text/guide/unicode): Represent Unicode strings in TensorFlow and manipulate them using Unicode equivalents of standard string ops.\n\nTensorFlow Text\n---------------\n\nIf you need access to lower-level text processing tools, you can use TensorFlow\nText. TensorFlow Text provides a collection of ops and libraries to help you\nwork with input in text form such as raw text strings or documents.\n\n- [Introduction to TensorFlow Text](https://tensorflow.org/text/guide/tf_text_intro): Learn how to install TensorFlow Text or build it from source.\n- [Converting TensorFlow Text operators to TensorFlow Lite](https://tensorflow.org/text/guide/text_tf_lite): Convert a TensorFlow Text model to TensorFlow Lite for deployment to mobile, embedded, and IoT devices.\n\n### Pre-processing\n\n- [BERT Preprocessing with TF Text](https://tensorflow.org/text/guide/bert_preprocessing_guide): Use TensorFlow Text preprocessing ops to transform text data into inputs for BERT.\n- [Tokenizing with TF Text](https://tensorflow.org/text/guide/tokenizers): Understand the tokenization options provided by TensorFlow Text. Learn when you might want to use one option over another, and how these tokenizers are called from within your model.\n- [Subword tokenizers](https://tensorflow.org/text/guide/subwords_tokenizer): Generate a subword vocabulary from a dataset, and use it to build a [`text.BertTokenizer`](https://www.tensorflow.org/text/api_docs/python/text/BertTokenizer) from the vocabulary.\n\nTensorFlow models -- NLP\n------------------------\n\nThe TensorFlow Models - NLP library provides Keras primitives that can be\nassembled into Transformer-based models, and scaffold classes that enable easy\nexperimentation with novel architectures.\n\n- [Introduction to the TensorFlow Models NLP library](https://tensorflow.org/tfmodels/nlp): Build Transformer-based models for common NLP tasks including pre-training, span labelling, and classification using building blocks from the [NLP modeling library](https://github.com/tensorflow/models/tree/master/official/nlp/modeling).\n- [Customizing a Transformer Encoder](https://tensorflow.org/tfmodels/nlp/customize_encoder): Customize [`tfm.nlp.networks.EncoderScaffold`](https://www.tensorflow.org/api_docs/python/tfm/nlp/networks/EncoderScaffold), a bi-directional Transformer-based encoder network scaffold, to employ new network architectures."]]
