יחידה לינארית מעריכית בקנה מידה (SELU).
פונקציית ההפעלה של יחידה לינארית מעריכית (SELU) מוגדרת כ:
-
if x > 0: return scale * x
-
if x < 0: return scale * alpha * (exp(x) - 1)
כאשר alpha
וקנה scale
הם קבועים מוגדרים מראש ( alpha=1.67326324
וקנה scale=1.05070098
).
בעיקרון, פונקציית ההפעלה של SELU מכפילה scale
(> 1) עם הפלט של פונקציית ה-elu כדי להבטיח שיפוע גדול מאחד עבור כניסות חיוביות.
הערכים של alpha
וקנה scale
נבחרים כך שהממוצע והשונות של התשומות יישמרו בין שתי שכבות עוקבות כל עוד המשקולות מאותחלות בצורה נכונה (ראה LeCun
עם התפלגות נורמלית) ומספר יחידות הקלט "גדול מספיק"
הערות: לשימוש יחד עם אתחול LeCun
עם חלוקה רגילה.
ראה גם
בונים ציבוריים
SELU (Ops tf) יוצר הפעלה של יחידה לינארית מעריכית (SELU). |
שיטות ציבוריות
אופרנד <T> |
שיטות בירושה
בונים ציבוריים
SELU ציבורי (Ops tf)
יוצר הפעלה של יחידה לינארית מעריכית (SELU).
פרמטרים
tf | ה- TensorFlow Ops |
---|