XlaSendTPUEmbeddingGradients

מחלקה סופית ציבורית XlaSendTPUEmbeddingGradients

אופ המבצע עדכוני הדרגתיות של הטמעת טבלאות.

הארגומנט של gradients הוא TensorList בעל אותו אורך וצורות כמו ערך ההחזרה של XlaRecvTPUEmbeddingActivations, אך מכיל גרדיאנטים של אובדן המודל ביחס להפעלות ההטמעה. טבלאות ההטמעה מתעדכנות מהדרגות אלו באמצעות כלי האופטימיזציה שצוין בפרוטו TPUEmbeddingConfiguration שניתן ל-tpu.initialize_system.

שיטות ציבוריות

סטטי XlaSendTPUEmbeddingGradients
create ( scope scope, Iterable< Operand <Float>> gradients, Iterable< Operand <Float>> learningRates, Operand <?> deduplicationData, String config)
שיטת מפעל ליצירת מחלקה העוטפת פעולת XlaSendTPUEmbeddingGradients חדשה.

שיטות בירושה

שיטות ציבוריות

Public static XlaSendTPUEmbeddingGradients create ( scope scope, Iterable< Operand <Float>> gradients, Iterable< Operand <Float>> learningRates, Operand <?> deduplicationData, String config)

שיטת מפעל ליצירת מחלקה העוטפת פעולת XlaSendTPUEmbeddingGradients חדשה.

פרמטרים
תְחוּם ההיקף הנוכחי
שיפועים רשימת Tensor של מעברים שבאמצעותם ניתן לעדכן טבלאות הטמעה.
שיעורי למידה רשימת Tensor של קצבי למידה המשמשים לעדכון טבלאות ההטמעה באמצעות כלי האופטימיזציה. אורך ה-TensorList חייב להיות שווה למספר תגי קצב הלמידה הדינמיים שצוינו בפרוטו TPUembeddingConfiguration.
deduplicationData Tensor עם type=DT_VARIANT המכיל את נתוני מניעת הכפילויות. הטנזור הוא טאפל מקונן XLA המכיל N אלמנטים (כאשר N הוא היחס בין מספר ליבות הטבעה לטנזור לכל שבב TPU). כל אלמנט של tuple מקוננת הוא tuple בדרגה 1 טנסור. כל טנסור מכיל מדדים (DT_UINT32) להטמעת חיפוש ב-TensorCore או משקלים (DT_FLOAT) שיחולו על הפלט של פעולת בדיקת ההטמעה.
תצורה פרוטו TPUEmbeddingConfiguration מסודר.
החזרות
  • מופע חדש של XlaSendTPUEmbeddingGradients