SELU

כיתה ציבורית SELU

יחידה לינארית מעריכית בקנה מידה (SELU).

פונקציית ההפעלה של יחידה לינארית מעריכית (SELU) מוגדרת כ:

  • if x > 0: return scale * x
  • if x < 0: return scale * alpha * (exp(x) - 1)

כאשר alpha וקנה scale הם קבועים מוגדרים מראש ( alpha=1.67326324 וקנה scale=1.05070098 ).

בעיקרון, פונקציית ההפעלה של SELU מכפילה scale (> 1) עם הפלט של פונקציית ה-elu כדי להבטיח שיפוע גדול מאחד עבור כניסות חיוביות.

הערכים של alpha וקנה scale נבחרים כך שהממוצע והשונות של התשומות יישמרו בין שתי שכבות עוקבות כל עוד המשקולות מאותחלות בצורה נכונה (ראה LeCun עם התפלגות נורמלית) ומספר יחידות הקלט "גדול מספיק"

הערות: לשימוש יחד עם אתחול LeCun עם חלוקה רגילה.

בונים ציבוריים

SELU (Ops tf)
יוצר הפעלה של יחידה לינארית מעריכית (SELU).

שיטות ציבוריות

אופרנד <T>
שיחה (כניסת Operand <T>)
מקבל את פעולת החישוב עבור ההפעלה.

שיטות בירושה

בונים ציבוריים

SELU ציבורי (Ops tf)

יוצר הפעלה של יחידה לינארית מעריכית (SELU).

פרמטרים
tf ה- TensorFlow Ops

שיטות ציבוריות

שיחת Operand <T> ציבורית (קלט Operand <T>)

מקבל את פעולת החישוב עבור ההפעלה.

פרמטרים
קֶלֶט טנסור הקלט
החזרות
  • האופרנד להפעלה