Unidad lineal exponencial.
La unidad lineal exponencial (ELU) con alpha > 0 es:
x si x > 0 y alpha * (exp(x) - 1) si x < 0 .
El hiperparámetro alpha de ELU controla el valor al que se satura una ELU para entradas netas negativas. Las ELU disminuyen el efecto de gradiente que desaparece.
Las ELU tienen valores negativos, lo que acerca la media de las activaciones a cero. Las activaciones medias más cercanas a cero permiten un aprendizaje más rápido ya que acercan el gradiente al gradiente natural. Las ELU se saturan hasta un valor negativo cuando el argumento se hace más pequeño. Saturación significa una pequeña derivada que disminuye la variación y la información que se propaga a la siguiente capa.
Uso de ejemplo:
Operand<TFloat32> input = ...;
ELU<TFloat32> elu = new ELU<>(tf, 2.0f);
Operand<TFloat32> result = elu.call(input);
Constructores Públicos
ELU (Ops tf) Crea una nueva ELU con alpha= ERROR(/#ALPHA_DEFAULT) . | |
ELU (Ops tf, doble alfa) Crea una nueva ELU |
Métodos públicos
| Operando <T> |
Métodos heredados
Constructores Públicos
ELU pública (Ops tf)
Crea una nueva ELU con alpha= ERROR(/#ALPHA_DEFAULT) .
Parámetros
| tf | las operaciones de TensorFlow |
|---|
ELU pública (Ops tf, doble alfa)
Crea una nueva ELU
Parámetros
| tf | las operaciones de TensorFlow |
|---|---|
| alfa | Un escalar, pendiente de sección negativa. Controla el valor al que se satura una ELU para entradas netas negativas. |
Métodos públicos
Llamada pública de operando <T> (entrada de operando <T>)
Obtiene la operación de cálculo para la activación.
Parámetros
| aporte | el tensor de entrada |
|---|
Devoluciones
- El operando para la activación.