SELU الطبقة العامة
الوحدة الخطية الأسية المتدرجة (SELU).
يتم تعريف وظيفة تنشيط الوحدة الخطية الأسية المقاسة (SELU) على النحو التالي:
-
if x > 0: return scale * x -
if x < 0: return scale * alpha * (exp(x) - 1)
حيث alpha scale ثوابت محددة مسبقًا ( alpha=1.67326324 و scale=1.05070098 ).
بشكل أساسي، تقوم وظيفة تنشيط SELU بضرب scale (> 1) بمخرجات وظيفة elu لضمان ميل أكبر من واحد للمدخلات الإيجابية.
يتم اختيار قيم alpha scale بحيث يتم الحفاظ على متوسط وتباين المدخلات بين طبقتين متتاليتين طالما تمت تهيئة الأوزان بشكل صحيح (انظر LeCun مع التوزيع الطبيعي) وعدد وحدات الإدخال "كبير بما فيه الكفاية"
ملاحظات: لاستخدامها مع مُهيئ LeCun مع التوزيع العادي.
أنظر أيضا
المقاولون العامون
سيلو (عمليات tf) إنشاء تنشيط وحدة خطية أسية متدرجة (SELU). |
الأساليب العامة
| المعامل <T> |
الطرق الموروثة
المقاولون العامون
SELU العامة (Ops tf)
إنشاء تنشيط وحدة خطية أسية متدرجة (SELU).
حدود
| tf | عمليات TensorFlow |
|---|