مقدمه ای بر متن TensorFlow
با مجموعه‌ها، منظم بمانید
ذخیره و طبقه‌بندی محتوا براساس اولویت‌های شما.
TensorFlow Text مجموعه‌ای از کلاس‌ها و عملیات مربوط به متن را فراهم می‌کند و آماده استفاده با TensorFlow 2.0 است. این کتابخانه می‌تواند پیش‌پردازش‌هایی را که به‌طور منظم مورد نیاز مدل‌های مبتنی بر متن است، انجام دهد، و شامل سایر ویژگی‌های مفید برای مدل‌سازی توالی است که توسط TensorFlow هسته ارائه نشده است.
مزیت استفاده از این عملیات در پیش پردازش متن این است که آنها در نمودار TensorFlow انجام می شوند. لازم نیست نگران تفاوت توکن سازی در آموزش با توکن سازی در استنتاج یا مدیریت اسکریپت های پیش پردازش باشید.
TensorFlow Text را نصب کنید
با استفاده از pip نصب کنید
هنگام نصب TF Text با نصب pip، به نسخه TensorFlow که در حال اجرا هستید توجه کنید، زیرا باید نسخه مربوطه TF Text را مشخص کنید.
pip install -U tensorflow-text==<version>
ساخت از منبع
متن TensorFlow باید در محیطی مشابه با TensorFlow ساخته شود. بنابراین، اگر TF Text را به صورت دستی می‌سازید، به شدت توصیه می‌شود که TensorFlow را نیز بسازید.
اگر روی MacOS می‌سازید، باید coreutils را نصب کرده باشید. احتمالاً ساده ترین کار با Homebrew است. ابتدا TensorFlow را از منبع بسازید.
مخزن TF Text را شبیه سازی کنید.
git clone https://github.com/tensorflow/text.git
در نهایت، اسکریپت ساخت را اجرا کنید تا یک بسته پیپ ایجاد شود.
./oss_scripts/run_build.sh
جز در مواردی که غیر از این ذکر شده باشد،محتوای این صفحه تحت مجوز Creative Commons Attribution 4.0 License است. نمونه کدها نیز دارای مجوز Apache 2.0 License است. برای اطلاع از جزئیات، به خطمشیهای سایت Google Developers مراجعه کنید. جاوا علامت تجاری ثبتشده Oracle و/یا شرکتهای وابسته به آن است.
تاریخ آخرین بهروزرسانی 2025-07-25 بهوقت ساعت هماهنگ جهانی.
[null,null,["تاریخ آخرین بهروزرسانی 2025-07-25 بهوقت ساعت هماهنگ جهانی."],[],[],null,["# Introduction to TensorFlow Text\n\n\u003cbr /\u003e\n\nTensorFlow Text provides a collection of text related classes and ops ready to\nuse with TensorFlow 2.0. The library can perform the preprocessing regularly\nrequired by text-based models, and includes other features useful for sequence\nmodeling not provided by core TensorFlow.\n\nThe benefit of using these ops in your text preprocessing is that they are done\nin the TensorFlow graph. You do not need to worry about tokenization in training\nbeing different than the tokenization at inference, or managing preprocessing\nscripts.\n\nInstall TensorFlow Text\n-----------------------\n\n### Install using pip\n\nWhen installing TF Text with pip install, note the version of TensorFlow you are\nrunning, as you should specify the corresponding version of TF Text. \n\n pip install -U tensorflow-text==\u003cversion\u003e\n\n### Build from source\n\nTensorFlow Text must be built in the same environment as TensorFlow. Thus, if\nyou manually build TF Text, it is highly recommended that you also build\nTensorFlow.\n\nIf building on MacOS, you must have coreutils installed. It is probably easiest\nto do with Homebrew. First, build TensorFlow\n[from source](https://www.tensorflow.org/install/source).\n\nClone the TF Text repo. \n\n git clone https://github.com/tensorflow/text.git\n\nFinally, run the build script to create a pip package. \n\n ./oss_scripts/run_build.sh"]]
