Экспоненциальная линейная единица.
Экспоненциальная линейная единица (ELU) с alpha > 0 равна:
x , если x > 0 , и alpha * (exp(x) - 1) если x < 0 .
Гиперпараметр ELU « alpha управляет значением, до которого ELU насыщается для отрицательных чистых входных данных. ELU уменьшают эффект исчезающего градиента.
ELU имеют отрицательные значения, что приближает среднее значение активаций к нулю. Средние активации, близкие к нулю, обеспечивают более быстрое обучение, поскольку они приближают градиент к естественному градиенту. ELU насыщаются до отрицательного значения, когда аргумент становится меньше. Насыщение означает небольшую производную, которая уменьшает вариацию и информацию, которая передается на следующий уровень.
Пример использования:
Operand<TFloat32> input = ...;
ELU<TFloat32> elu = new ELU<>(tf, 2.0f);
Operand<TFloat32> result = elu.call(input);
Публичные конструкторы
ELU (Опс тф) Создает новый ELU с альфа= ERROR(/#ALPHA_DEFAULT) . | |
ELU (Ops TF, двойная альфа) Создает новый ELU |
Публичные методы
| Операнд <Т> |
Унаследованные методы
Публичные конструкторы
публичный ELU (Ops TF)
Создает новый ELU с альфа= ERROR(/#ALPHA_DEFAULT) .
Параметры
| ТС | Операции TensorFlow |
|---|
общедоступный ELU (Ops TF, двойная альфа)
Создает новый ELU
Параметры
| ТС | Операции TensorFlow |
|---|---|
| альфа | Скаляр, наклон отрицательного сечения. Он контролирует значение, до которого ELU насыщается для отрицательных чистых входов. |