ספר בישול טקסט

דף זה מפרט קבוצה של מדריכים וכלים ידועים הפותרים בעיות בתחום הטקסט עם TensorFlow Hub. זהו מקום התחלה לכל מי שרוצה לפתור בעיות ML טיפוסיות באמצעות רכיבי ML מאומנים מראש במקום להתחיל מאפס.

מִיוּן

כאשר אנו רוצים לחזות מחלקה עבור דוגמה מסוימת, בשל הסנטימנט למשל, רעילות, קטגוריית מאמר, או כל מאפיין אחר.

גרפיקה של סיווג טקסט

המדריכים שלהלן פותרים את אותה משימה מנקודות מבט שונות ומשתמשים בכלים שונים.

קראס

סיווג טקסט עם Keras - למשל לבניית מסווג סנטימנט IMDB עם Keras ואת מערכי נתונים TensorFlow.

אומדן

סיווג טקסט - למשל לבניית מסווג סנטימנט IMDB באמצעות מעריך. מכיל טיפים מרובים לשיפור וקטע השוואת מודולים.

BERT

חיזוי סנטימנט ביקורת סרט עם ברט על Hub TF - מראה כיצד להשתמש במודול ברט לסיווג. כולל שימוש bert ספרייה עבור tokenization ועיבוד מקדים.

קגל

סיווג IMDB על Kaggle - מראה כיצד בקלות אינטראקציה עם תחרות Kaggle מתוך Colab, כולל הורדת הנתונים והגישו את התוצאות.

אומדן קראס TF2 ערכות נתונים של TF BERT ממשקי API של Kaggle
סיווג טקסט בוצע
סיווג טקסט עם קרס בוצעבוצעבוצע
חיזוי סנטימנט ביקורת סרטים עם BERT ב- TF Hub בוצעבוצע
סיווג IMDB על Kaggle בוצעבוצע

משימת Bangla עם הטבעות FastText

TensorFlow Hub אינו מציע כרגע מודול בכל שפה. המדריך הבא מראה כיצד למנף את TensorFlow Hub לניסויים מהירים ופיתוח ML מודולרי.

מסווג באנגלה סעיף - מדגים כיצד ליצור הטבעת טקסט לשימוש חוזרת TensorFlow Hub, ולהשתמש בו כדי להכשיר מסווג Keras עבור במערך סעיף BARD באנגלה .

דמיון סמנטי

כאשר אנו רוצים לגלות אילו משפטים מתואמים זה עם זה בהגדרת אפס-shot (ללא דוגמאות אימון).

גרפיקת דמיון סמנטי

בסיסי

דמיון סמנטי - מראה כיצד להשתמש במודול מקודד משפט לחשב דמיון משפט.

חוצה לשוניים

קרוס-לשוני דמיון סמנטי - מראה כיצד להשתמש באחת מקודדי משפט החוצים-הלשוניים אל דמיון משפט מחשוב בין שפות.

שליפה סמנטית

חזר סמנטי - מראה כיצד להשתמש Q / A מקודד משפט לאנדקס אוסף של מסמכים עבור תחזור על סמך דמיון סמנטי.

קלט SentencePiece

דמיון סמנטי עם לייט מקודד אוניוורסלי - מראה כיצד להשתמש מודולים מקודדים משפט המקבלים SentencePiece מזהה על קלט במקום טקסט.

יצירת מודול

במקום להשתמש מודולים רק על hub.tensorflow.google.cn , יש דרכים ליצור מודולים עצמו. זה יכול להיות כלי שימושי עבור מודולריות טובה יותר של בסיס קוד ML ולשיתוף נוסף.

עטיפת הטבעות קיימות שהוכשרו מראש

יצואן מודול שיבוץ טקסט - כלי לעטוף מראש מאומן קיים הטבעה לתוך מודול. מראה כיצד לכלול פעולות לעיבוד מוקדם של טקסט במודול. זה מאפשר ליצור מודול הטמעת משפטים מהטבעות אסימונים.

מודול טקסט הטבעת v2 יצואן - כנ"ל, אך תואם TensorFlow 2 וביצוע להוט.