מבוא לטקסט TensorFlow

TensorFlow Text מספק אוסף של שיעורים ואופציות הקשורות לטקסט המוכנים לשימוש עם TensorFlow 2.0. הספרייה יכולה לבצע את העיבוד המקדים הנדרש באופן קבוע על ידי מודלים מבוססי טקסט, וכוללת תכונות אחרות שימושיות עבור דוגמנות רצף שאינן מסופקות על ידי הליבה TensorFlow.

היתרון בשימוש באופציות אלו בעיבוד המקדים של הטקסט שלך הוא שהם נעשים בגרף TensorFlow. אינך צריך לדאוג שהטוקניזציה באימון תהיה שונה מהאסימון בהסקת ההסקה, או ניהול סקריפטים בעיבוד מקדים.

התקן את TensorFlow Text

התקן באמצעות pip

בעת התקנת TF Text עם התקנת pip, שים לב לגרסה של TensorFlow שאתה מפעיל, שכן עליך לציין את הגרסה המתאימה של TF Text.

pip install -U tensorflow-text==<version>

בנה ממקור

TensorFlow Text חייב להיות בנוי באותה סביבה כמו TensorFlow. לפיכך, אם אתה בונה ידנית TF Text, מומלץ מאוד לבנות גם את TensorFlow.

אם בונים על MacOS, עליך להתקין coreutils. זה כנראה הכי קל לעשות עם Homebrew. ראשית, בנה את TensorFlow ממקור .

שכפל את מאגר הטקסט של TF.

git clone  https://github.com/tensorflow/text.git

לבסוף, הפעל את סקריפט ה-build כדי ליצור חבילת pip.

./oss_scripts/run_build.sh