Unidad lineal exponencial.
La unidad lineal exponencial (ELU) con alpha > 0
es:
x
si x > 0
y alpha * (exp(x) - 1)
si x < 0
.
El hiperparámetro alpha
ELU controla el valor al que se satura un ELU para entradas netas negativas. Los ELU disminuyen el efecto de degradado de desaparición.
Los ELU tienen valores negativos que acercan la media de las activaciones a cero. Las activaciones medias más cercanas a cero permiten un aprendizaje más rápido a medida que acercan el gradiente al gradiente natural. Los ELU se saturan a un valor negativo cuando el argumento se vuelve más pequeño. Saturación significa una pequeña derivada que disminuye la variación y la información que se propaga a la siguiente capa.
Ejemplo de uso:
Operand<TFloat32> input = ...; ELU<TFloat32> elu = new ELU<>(tf, 2.0f); Operand<TFloat32> result = elu.call(input);
Constructores públicos
ELU (Ops tf) Crea un nuevo ELU con alpha = ERROR(/#ALPHA_DEFAULT) . | |
ELU (Ops tf, doble alfa) Crea un nuevo ELU |
Métodos públicos
Operando <T> |
Métodos heredados
Constructores públicos
ELU público (Ops tf)
Crea un nuevo ELU con alpha = ERROR(/#ALPHA_DEFAULT)
.
Parámetros
tf | las operaciones de TensorFlow |
---|
ELU público (Ops tf, doble alfa)
Crea un nuevo ELU
Parámetros
tf | las operaciones de TensorFlow |
---|---|
alfa | Pendiente escalar de sección negativa. Controla el valor al que se satura un ELU para entradas netas negativas. |