TensorFlow Text cung cấp một tập hợp các lớp và hoạt động liên quan đến văn bản sẵn sàng sử dụng với TensorFlow 2.0. Thư viện có thể thực hiện quá trình tiền xử lý thường xuyên theo yêu cầu của các mô hình dựa trên văn bản và bao gồm các tính năng khác hữu ích cho việc lập mô hình trình tự mà TensorFlow lõi không cung cấp.
Lợi ích của việc sử dụng các hoạt động này trong quá trình xử lý trước văn bản của bạn là chúng được thực hiện trong biểu đồ TensorFlow. Bạn không cần phải lo lắng về việc mã thông báo trong quá trình đào tạo khác với mã thông báo khi suy luận hoặc quản lý các tập lệnh tiền xử lý.
Cài đặt văn bản TensorFlow
Cài đặt bằng pip
Khi cài đặt TF Text bằng cài đặt pip, hãy lưu ý phiên bản TensorFlow bạn đang chạy, vì bạn nên chỉ định phiên bản TF Text tương ứng.
pip install -U tensorflow-text==<version>
Xây dựng từ nguồn
Văn bản TensorFlow phải được xây dựng trong cùng môi trường với TensorFlow. Do đó, nếu bạn xây dựng Văn bản TF theo cách thủ công, bạn cũng nên xây dựng TensorFlow.
Nếu xây dựng trên MacOS, bạn phải cài đặt coreutils. Có lẽ dễ thực hiện nhất với Homebrew. Đầu tiên, xây dựng TensorFlow từ nguồn .
Sao chép kho lưu trữ văn bản TF.
git clone https://github.com/tensorflow/text.git
Cuối cùng, chạy tập lệnh xây dựng để tạo gói pip.
./oss_scripts/run_build.sh