واحد خطی نمایی مقیاس شده (SELU).
تابع فعال سازی واحد خطی نمایی مقیاس شده (SELU) به صورت زیر تعریف می شود:
-
if x > 0: return scale * x
-
if x < 0: return scale * alpha * (exp(x) - 1)
که در آن alpha
و scale
ثابت های از پیش تعریف شده هستند ( alpha=1.67326324
و scale=1.05070098
).
اساساً، تابع فعالسازی SELU scale
(> 1) را با خروجی تابع elu ضرب میکند تا از شیب بزرگتر از یک برای ورودیهای مثبت اطمینان حاصل کند.
مقادیر alpha
و scale
به گونه ای انتخاب می شوند که میانگین و واریانس ورودی ها بین دو لایه متوالی حفظ شود تا زمانی که وزن ها به درستی مقداردهی اولیه شوند (به LeCun
با توزیع عادی مراجعه کنید) و تعداد واحدهای ورودی "به اندازه کافی بزرگ" باشد.
نکات: برای استفاده همراه با مقداردهی اولیه LeCun
با توزیع عادی.
همچنین ببینید
سازندگان عمومی
SELU (Ops tf) یک فعال سازی واحد خطی نمایی مقیاس شده (SELU) ایجاد می کند. |
روش های عمومی
عملوند <T> |
روش های ارثی
سازندگان عمومی
عمومی SELU (Ops tf)
یک فعال سازی واحد خطی نمایی مقیاس شده (SELU) ایجاد می کند.
مولفه های
tf | TensorFlow Ops |
---|