Unità lineare esponenziale scalata (SELU).
La funzione di attivazione dell'unità lineare esponenziale in scala (SELU) è definita come:
-
if x > 0: return scale * x -
if x < 0: return scale * alpha * (exp(x) - 1)
dove alpha e scale sono costanti predefinite ( alpha=1.67326324 e scale=1.05070098 ).
Fondamentalmente, la funzione di attivazione SELU moltiplica scale (> 1) con l'output della funzione elu per garantire una pendenza maggiore di uno per gli input positivi.
I valori di alpha e scale sono scelti in modo che la media e la varianza degli input siano preservate tra due strati consecutivi purché i pesi siano inizializzati correttamente (vedi LeCun con distribuzione normale) e il numero di unità di input sia "abbastanza grande"
Note: Da utilizzare insieme all'inizializzatore LeCun con distribuzione normale.
Guarda anche
Costruttori pubblici
SELU (Ops tf) Crea un'attivazione di unità lineare esponenziale in scala (SELU). |
Metodi pubblici
| Operando <T> |
Metodi ereditati
Costruttori pubblici
SELU pubblico (Ops tf)
Crea un'attivazione di unità lineare esponenziale in scala (SELU).
Parametri
| tf | le operazioni TensorFlow |
|---|
Metodi pubblici
Chiamata pubblica dell'operando <T> (ingresso dell'operando <T>)
Ottiene l'operazione di calcolo per l'attivazione.
Parametri
| ingresso | il tensore di ingresso |
|---|
ritorna
- L'operando per l'attivazione