Ölçeklendirilmiş Üstel Doğrusal Birim (SELU).
Ölçeklendirilmiş Üstel Doğrusal Birim (SELU) aktivasyon fonksiyonu şu şekilde tanımlanır:
-
if x > 0: return scale * x
-
if x < 0: return scale * alpha * (exp(x) - 1)
burada alpha
ve scale
önceden tanımlanmış sabitlerdir ( alpha=1.67326324
ve scale=1.05070098
).
Temel olarak SELU aktivasyon fonksiyonu, pozitif girişler için birden daha büyük bir eğim sağlamak amacıyla scale
(> 1) elu fonksiyonunun çıkışıyla çarpar.
alpha
ve scale
değerleri, ağırlıklar doğru şekilde başlatıldığı sürece (Normal Dağılım ile LeCun
bakın) ve giriş birimlerinin sayısı "yeterince büyük" olduğu sürece, girdilerin ortalaması ve varyansı iki ardışık katman arasında korunacak şekilde seçilir.
Notlar: Normal Dağıtımlı LeCun
başlatıcıyla birlikte kullanılacaktır.
Ayrıca bakınız
Kamu İnşaatçıları
SELU (Ops tf) Ölçeklendirilmiş Üstel Doğrusal Birim (SELU) aktivasyonu oluşturur. |
Genel Yöntemler
İşlenen <T> |
Kalıtsal Yöntemler
Kamu İnşaatçıları
halka açık SELU (Ops tf)
Ölçeklendirilmiş Üstel Doğrusal Birim (SELU) aktivasyonu oluşturur.
Parametreler
TF | TensorFlow Operasyonları |
---|