הדרכות לעיבוד טקסט של TensorFlow

מדריכי עיבוד הטקסט של TensorFlow מספקים הוראות שלב אחר שלב לפתרון בעיות נפוצות של טקסט ועיבוד שפה טבעית (NLP).

TensorFlow מספקת שני פתרונות לעיבוד טקסט ושפה טבעית: KerasNLP ו-TensorFlow Text. KerasNLP היא ספריית NLP ברמה גבוהה הכוללת את כל הדגמים העדכניים ביותר מבוססי Transformer וכן כלי עזר לטוקניזציה ברמה נמוכה יותר. זה הפתרון המומלץ עבור רוב מקרי השימוש ב-NLP.

אם אתה צריך גישה לכלי עיבוד טקסט ברמה נמוכה יותר, אתה יכול להשתמש ב- TensorFlow Text. TensorFlow Text מספק אוסף של פעולות וספריות כדי לעזור לך לעבוד עם קלט בצורת טקסט כגון מחרוזות טקסט גולמיות או מסמכים.

KerasNLP

  • תחילת העבודה עם KerasNLP : למד KerasNLP על ידי ביצוע ניתוח סנטימנטים ברמות מורכבות מתקדמת, משימוש במודל מאומן מראש ועד לבניית שנאי משלך מאפס.

יצירת טקסט

סיווג טקסט

  • סיווג טקסט עם BERT : כוונן את BERT כדי לבצע ניתוח סנטימנטים על מערך נתונים של ביקורות סרטי IMDb בטקסט רגיל.
  • סיווג טקסט עם RNN : אמן RNN לבצע ניתוח סנטימנט על ביקורות סרטים ב-IMDb.
  • TF.Text Metrics : למד על המדדים הזמינים דרך TensorFlow Text. הספרייה מכילה יישומים של מדדי דמיון טקסט כגון ROUGE-L, אשר ניתן להשתמש בהם להערכה אוטומטית של מודלים של יצירת טקסט.

NLP עם BERT

הטבעות