ELU

ELU di classe pubblica

Unità lineare esponenziale.

L'unità lineare esponenziale (ELU) con alpha > 0 è:

x se x > 0 e alpha * (exp(x) - 1) se x < 0 .

L'iperparametro ELU alpha controlla il valore al quale un ELU si satura per input netti negativi. Le ELU diminuiscono l'effetto del gradiente di scomparsa.

Gli ELU hanno valori negativi che spingono la media delle attivazioni più vicino allo zero. Le attivazioni medie più vicine allo zero consentono un apprendimento più rapido poiché avvicinano il gradiente al gradiente naturale. Gli ELU si saturano su un valore negativo quando l'argomento diminuisce. Per saturazione si intende una piccola derivata che diminuisce la variazione e l'informazione che si propaga allo strato successivo.

Esempio di utilizzo:

     Operand<TFloat32> input = ...;
     ELU<TFloat32> elu = new ELU<>(tf, 2.0f);
     Operand<TFloat32> result = elu.call(input);
 

Costruttori pubblici

ELU (Ops tf)
Crea una nuova ELU con alpha= ERROR(/#ALPHA_DEFAULT) .
ELU (Ops tf, doppio alfa)
Crea una nuova ELU

Metodi pubblici

Operando <T>
chiamata (ingresso operando <T>)
Ottiene l'operazione di calcolo per l'attivazione.

Metodi ereditati

Costruttori pubblici

ELU pubblica (Ops tf)

Crea una nuova ELU con alpha= ERROR(/#ALPHA_DEFAULT) .

Parametri
tf le operazioni TensorFlow

ELU pubblica (Ops tf, doppio alfa)

Crea una nuova ELU

Parametri
tf le operazioni TensorFlow
alfa Uno scalare, pendenza della sezione negativa. Controlla il valore al quale un'ELU si satura per input netti negativi.

Metodi pubblici

Chiamata pubblica dell'operando <T> (ingresso dell'operando <T>)

Ottiene l'operazione di calcolo per l'attivazione.

Parametri
ingresso il tensore di ingresso
ritorna
  • L'operando per l'attivazione