Hướng dẫn xử lý văn bản TensorFlow
Sử dụng bộ sưu tập để sắp xếp ngăn nắp các trang
Lưu và phân loại nội dung dựa trên lựa chọn ưu tiên của bạn.
Các hướng dẫn xử lý văn bản TensorFlow cung cấp hướng dẫn từng bước để giải quyết các vấn đề phổ biến về xử lý văn bản và ngôn ngữ tự nhiên (NLP).
TensorFlow cung cấp hai giải pháp để xử lý văn bản và ngôn ngữ tự nhiên: KerasNLP và Văn bản TensorFlow. KerasNLP là thư viện NLP cấp cao bao gồm tất cả các mô hình dựa trên Transformer mới nhất cũng như các tiện ích mã thông báo cấp thấp hơn. Đó là giải pháp được đề xuất cho hầu hết các trường hợp sử dụng NLP.
Nếu bạn cần quyền truy cập vào các công cụ xử lý văn bản cấp thấp hơn, bạn có thể sử dụng Văn bản TensorFlow. TensorFlow Text cung cấp một bộ sưu tập các op và thư viện để giúp bạn làm việc với đầu vào ở dạng văn bản, chẳng hạn như chuỗi văn bản thô hoặc tài liệu.
Máy ảnhNLP
- Bắt đầu với KerasNLP : Tìm hiểu KerasNLP bằng cách thực hiện phân tích tình cảm ở mức độ phức tạp tăng dần, từ việc sử dụng mô hình được đào tạo trước đến xây dựng Transformer của riêng bạn từ đầu.
tạo văn bản
phân loại văn bản
- Phân loại văn bản với BERT : Tinh chỉnh BERT để thực hiện phân tích tình cảm trên tập dữ liệu các bài đánh giá phim IMDb văn bản thuần túy.
- Phân loại văn bản với RNN : Huấn luyện RNN để thực hiện phân tích tình cảm đối với các bài đánh giá phim IMDb.
- Chỉ số TF.Text : Tìm hiểu về các chỉ số có sẵn thông qua Văn bản TensorFlow. Thư viện chứa các triển khai của các số liệu về độ tương tự của văn bản, chẳng hạn như ROUGE-L, có thể được sử dụng để đánh giá tự động các mô hình tạo văn bản.
NLP với BERT
nhúng
- Nhúng từ : Huấn luyện các nhúng từ của riêng bạn bằng cách sử dụng mô hình Keras đơn giản cho nhiệm vụ phân loại cảm xúc, sau đó trực quan hóa chúng bằng Trình chiếu nhúng .
- Ma trận lớp nhúng khởi động : Tìm hiểu cách đào tạo "khởi động khởi động" cho mô hình phân loại cảm tính văn bản.
- word2vec : Huấn luyện mô hình word2vec trên một tập dữ liệu nhỏ và trực quan hóa các phần nhúng được đào tạo trong Máy chiếu Nhúng .
Trừ phi có lưu ý khác, nội dung của trang này được cấp phép theo Giấy phép ghi nhận tác giả 4.0 của Creative Commons và các mẫu mã lập trình được cấp phép theo Giấy phép Apache 2.0. Để biết thông tin chi tiết, vui lòng tham khảo Chính sách trang web của Google Developers. Java là nhãn hiệu đã đăng ký của Oracle và/hoặc các đơn vị liên kết với Oracle.
Cập nhật lần gần đây nhất: 2023-07-27 UTC.
[null,null,["Cập nhật lần gần đây nhất: 2023-07-27 UTC."],[],[],null,["# TensorFlow text processing tutorials\n\n\u003cbr /\u003e\n\nThe TensorFlow text processing tutorials provide step-by-step instructions for\nsolving common text and natural language processing (NLP) problems.\n\nTensorFlow provides two solutions for text and natural language processing:\nKerasNLP and TensorFlow Text. KerasNLP is a high-level NLP library that includes\nall the latest Transformer-based models as well as lower-level tokenization\nutilities. It's the recommended solution for most NLP use cases.\n\nIf you need access to lower-level text processing tools, you can use\nTensorFlow Text. TensorFlow Text provides a collection of ops and libraries to\nhelp you work with input in text form such as raw text strings or documents.\n\nKerasNLP\n--------\n\n- [Getting Started with KerasNLP](https://keras.io/guides/keras_nlp/getting_started/): Learn KerasNLP by performing sentiment analysis at progressive levels of complexity, from using a pre-trained model to building your own Transformer from scratch.\n\nText generation\n---------------\n\n- [Text generation with an RNN](https://tensorflow.org/text/tutorials/text_generation): Generate text using a character-based RNN and a dataset of Shakespeare's writing.\n- [Neural machine translation with attention](https://tensorflow.org/text/tutorials/nmt_with_attention): Train a sequence-to-sequence (seq2seq) model for Spanish-to-English translation.\n- [Neural machine translation with a Transformer and Keras](https://tensorflow.org/text/tutorials/transformer): Create and train a sequence-to-sequence Transformer model to translate Portuguese into English.\n- [Image captioning with visual attention](https://tensorflow.org/text/tutorials/image_captioning): Generate image captions using a Transformer-decoder model built with attention layers.\n\nText classification\n-------------------\n\n- [Classify text with BERT](https://tensorflow.org/text/tutorials/classify_text_with_bert): Fine-tune BERT to perform sentiment analysis on a dataset of plain-text IMDb movie reviews.\n- [Text classification with an RNN](https://tensorflow.org/text/tutorials/text_classification_rnn): Train an RNN to perform sentiment analysis on IMDb movie reviews.\n- [TF.Text Metrics](https://tensorflow.org/text/tutorials/text_similarity): Learn about the metrics available through TensorFlow Text. The library contains implementations of text-similarity metrics such as ROUGE-L, which can be used for automatic evaluation of text generation models.\n\nNLP with BERT\n-------------\n\n- [Solve GLUE tasks using BERT on TPU](https://tensorflow.org/text/tutorials/bert_glue): Learn how to fine-tune BERT for tasks from the [GLUE benchmark](https://gluebenchmark.com/).\n- [Fine-tuning a BERT model](https://tensorflow.org/tfmodels/nlp/fine_tune_bert): Fine-tune a BERT model using [TensorFlow Model Garden](https://github.com/tensorflow/models).\n- [Uncertainty-aware Deep Language Learning with BERT-SNGP](https://tensorflow.org/text/tutorials/uncertainty_quantification_with_sngp_bert): Apply [SNGP](https://arxiv.org/abs/2006.10108) to a natural language understanding (NLU) task. Building on a BERT encoder, you'll improve the NLU model's ability to detect out-of-scope queries.\n\nEmbeddings\n----------\n\n- [Word embeddings](https://tensorflow.org/text/guide/word_embeddings): Train your own word embeddings using a simple Keras model for a sentiment classification task, and then visualize them using the [Embedding Projector](https://www.tensorflow.org/tensorboard/tensorboard_projector_plugin).\n- [Warm-start embedding layer matrix](https://tensorflow.org/text/tutorials/warmstart_embedding_matrix): Learn how to \"warm-start\" training for a text sentiment classification model.\n- [word2vec](https://tensorflow.org/text/tutorials/word2vec): Train a word2vec model on a small dataset and visualize the trained embeddings in the [Embedding Projector](https://www.tensorflow.org/tensorboard/tensorboard_projector_plugin)."]]
