คู่มือการประมวลผลข้อความ TensorFlow
จัดทุกอย่างให้เป็นระเบียบอยู่เสมอด้วยคอลเล็กชัน
บันทึกและจัดหมวดหมู่เนื้อหาตามค่ากำหนดของคุณ
คู่มือการประมวลผลข้อความ TensorFlow จัดทำเอกสารไลบรารีและเวิร์กโฟลว์สำหรับการประมวลผลภาษาธรรมชาติ (NLP) และแนะนำแนวคิดที่สำคัญสำหรับการทำงานกับข้อความ
KerasNLP
KerasNLP เป็นไลบรารีการประมวลผลภาษาธรรมชาติระดับสูง (NLP) ที่มีโมเดลที่ใช้ Transformer ล่าสุดทั้งหมด รวมทั้งยูทิลิตีโทเค็นระดับล่าง เป็นวิธีแก้ปัญหาที่แนะนำสำหรับกรณีการใช้งาน NLP ส่วนใหญ่
- เริ่มต้นใช้งาน KerasNLP : เรียนรู้ KerasNLP โดยทำการวิเคราะห์ความรู้สึกที่ระดับความซับซ้อนที่ก้าวหน้า ตั้งแต่การใช้แบบจำลองที่ได้รับการฝึกอบรมล่วงหน้าไปจนถึงการสร้าง Transformer ของคุณเองตั้งแต่เริ่มต้น
โมดูล tf.strings มีการดำเนินการสำหรับการทำงานกับสตริงเทนเซอร์
- สตริง Unicode : แสดงสตริง Unicode ใน TensorFlow และจัดการโดยใช้ Unicode ที่เทียบเท่ากับ ops สตริงมาตรฐาน
ข้อความ TensorFlow
หากคุณต้องการเข้าถึงเครื่องมือประมวลผลข้อความระดับล่าง คุณสามารถใช้ TensorFlow Text ได้ TensorFlow Text มอบคอลเล็กชันของ ops และไลบรารีเพื่อช่วยให้คุณทำงานกับอินพุตในรูปแบบข้อความ เช่น สตริงข้อความดิบหรือเอกสาร
การประมวลผลล่วงหน้า
โมเดล TensorFlow – NLP
ไลบรารี TensorFlow Models - NLP มี Keras ดั้งเดิมที่สามารถประกอบเป็นโมเดลที่ใช้ Transformer และคลาสนั่งร้านที่ช่วยให้ทำการทดลองกับสถาปัตยกรรมใหม่ๆ ได้ง่าย
เนื้อหาของหน้าเว็บนี้ได้รับอนุญาตภายใต้ใบอนุญาตที่ต้องระบุที่มาของครีเอทีฟคอมมอนส์ 4.0 และตัวอย่างโค้ดได้รับอนุญาตภายใต้ใบอนุญาต Apache 2.0 เว้นแต่จะระบุไว้เป็นอย่างอื่น โปรดดูรายละเอียดที่นโยบายเว็บไซต์ Google Developers Java เป็นเครื่องหมายการค้าจดทะเบียนของ Oracle และ/หรือบริษัทในเครือ
อัปเดตล่าสุด 2023-07-27 UTC
[null,null,["อัปเดตล่าสุด 2023-07-27 UTC"],[],[],null,["# TensorFlow text processing guide\n\n\u003cbr /\u003e\n\nThe TensorFlow text processing guide documents libraries and workflows for\nnatural language processing (NLP) and introduces important concepts for working\nwith text.\n\nKerasNLP\n--------\n\nKerasNLP is a high-level natural language processing (NLP) library that includes\nall the latest Transformer-based models as well as lower-level tokenization\nutilities. It's the recommended solution for most NLP use cases.\n\n- [Getting Started with KerasNLP](https://keras.io/guides/keras_nlp/getting_started/): Learn KerasNLP by performing sentiment analysis at progressive levels of complexity, from using a pre-trained model to building your own Transformer from scratch.\n\n[`tf.strings`](https://www.tensorflow.org/api_docs/python/tf/strings)\n---------------------------------------------------------------------\n\nThe [`tf.strings`](https://www.tensorflow.org/api_docs/python/tf/strings) module provides operations for working with string Tensors.\n\n- [Unicode strings](https://tensorflow.org/text/guide/unicode): Represent Unicode strings in TensorFlow and manipulate them using Unicode equivalents of standard string ops.\n\nTensorFlow Text\n---------------\n\nIf you need access to lower-level text processing tools, you can use TensorFlow\nText. TensorFlow Text provides a collection of ops and libraries to help you\nwork with input in text form such as raw text strings or documents.\n\n- [Introduction to TensorFlow Text](https://tensorflow.org/text/guide/tf_text_intro): Learn how to install TensorFlow Text or build it from source.\n- [Converting TensorFlow Text operators to TensorFlow Lite](https://tensorflow.org/text/guide/text_tf_lite): Convert a TensorFlow Text model to TensorFlow Lite for deployment to mobile, embedded, and IoT devices.\n\n### Pre-processing\n\n- [BERT Preprocessing with TF Text](https://tensorflow.org/text/guide/bert_preprocessing_guide): Use TensorFlow Text preprocessing ops to transform text data into inputs for BERT.\n- [Tokenizing with TF Text](https://tensorflow.org/text/guide/tokenizers): Understand the tokenization options provided by TensorFlow Text. Learn when you might want to use one option over another, and how these tokenizers are called from within your model.\n- [Subword tokenizers](https://tensorflow.org/text/guide/subwords_tokenizer): Generate a subword vocabulary from a dataset, and use it to build a [`text.BertTokenizer`](https://www.tensorflow.org/text/api_docs/python/text/BertTokenizer) from the vocabulary.\n\nTensorFlow models -- NLP\n------------------------\n\nThe TensorFlow Models - NLP library provides Keras primitives that can be\nassembled into Transformer-based models, and scaffold classes that enable easy\nexperimentation with novel architectures.\n\n- [Introduction to the TensorFlow Models NLP library](https://tensorflow.org/tfmodels/nlp): Build Transformer-based models for common NLP tasks including pre-training, span labelling, and classification using building blocks from the [NLP modeling library](https://github.com/tensorflow/models/tree/master/official/nlp/modeling).\n- [Customizing a Transformer Encoder](https://tensorflow.org/tfmodels/nlp/customize_encoder): Customize [`tfm.nlp.networks.EncoderScaffold`](https://www.tensorflow.org/api_docs/python/tfm/nlp/networks/EncoderScaffold), a bi-directional Transformer-based encoder network scaffold, to employ new network architectures."]]
