مقدمه ای بر متن TensorFlow

TensorFlow Text مجموعه‌ای از کلاس‌ها و عملیات مربوط به متن را فراهم می‌کند و آماده استفاده با TensorFlow 2.0 است. این کتابخانه می‌تواند پیش‌پردازش‌هایی را که به‌طور منظم مورد نیاز مدل‌های مبتنی بر متن است، انجام دهد، و شامل سایر ویژگی‌های مفید برای مدل‌سازی توالی است که توسط TensorFlow هسته ارائه نشده است.

مزیت استفاده از این عملیات در پیش پردازش متن این است که آنها در نمودار TensorFlow انجام می شوند. لازم نیست نگران تفاوت توکن سازی در آموزش با توکن سازی در استنتاج یا مدیریت اسکریپت های پیش پردازش باشید.

TensorFlow Text را نصب کنید

با استفاده از pip نصب کنید

هنگام نصب TF Text با نصب pip، به نسخه TensorFlow که در حال اجرا هستید توجه کنید، زیرا باید نسخه مربوطه TF Text را مشخص کنید.

pip install -U tensorflow-text==<version>

ساخت از منبع

متن TensorFlow باید در محیطی مشابه با TensorFlow ساخته شود. بنابراین، اگر TF Text را به صورت دستی می‌سازید، به شدت توصیه می‌شود که TensorFlow را نیز بسازید.

اگر روی MacOS می‌سازید، باید coreutils را نصب کرده باشید. احتمالاً ساده ترین کار با Homebrew است. ابتدا TensorFlow را از منبع بسازید.

مخزن TF Text را شبیه سازی کنید.

git clone  https://github.com/tensorflow/text.git

در نهایت، اسکریپت ساخت را اجرا کنید تا یک بسته پیپ ایجاد شود.

./oss_scripts/run_build.sh