Unit Linier Eksponensial Berskala (SELU).
Fungsi aktivasi Scaled Exponential Linear Unit (SELU) didefinisikan sebagai:
-
if x > 0: return scale * x -
if x < 0: return scale * alpha * (exp(x) - 1)
di mana alpha dan scale adalah konstanta yang telah ditentukan sebelumnya ( alpha=1.67326324 dan scale=1.05070098 ).
Pada dasarnya, fungsi aktivasi SELU mengalikan scale (> 1) dengan keluaran fungsi elu untuk memastikan kemiringan yang lebih besar dari satu untuk masukan positif.
Nilai alpha dan scale dipilih sehingga rata-rata dan varian masukan dipertahankan antara dua lapisan yang berurutan selama bobot diinisialisasi dengan benar (lihat LeCun dengan Distribusi Normal) dan jumlah unit masukan "cukup besar"
Catatan: Untuk digunakan bersama dengan penginisialisasi LeCun dengan Distribusi Normal.
Lihat juga
Konstruktor Publik
SELU (Ops tf) Membuat aktivasi Scaled Exponential Linear Unit (SELU). |
Metode Publik
| Operan <T> |
Metode Warisan
Konstruktor Publik
SELU publik (Ops tf)
Membuat aktivasi Scaled Exponential Linear Unit (SELU).
Parameter
| tf | Operasi TensorFlow |
|---|