SELU

общественный класс SELU

Масштабированная экспоненциальная линейная единица (SELU).

Функция активации масштабированной экспоненциальной линейной единицы (SELU) определяется как:

  • if x > 0: return scale * x
  • if x < 0: return scale * alpha * (exp(x) - 1)

где alpha и scale — предварительно определенные константы ( alpha=1.67326324 и scale=1.05070098 ).

По сути, функция активации SELU умножает scale (> 1) на выходной сигнал функции elu, чтобы обеспечить крутизну, превышающую единицу, для положительных входных сигналов.

Значения alpha и scale выбираются таким образом, чтобы среднее значение и дисперсия входных данных сохранялись между двумя последовательными слоями, пока веса инициализируются правильно (см. LeCun с нормальным распределением) и количество входных единиц «достаточно велико».

Примечания: Используется вместе с инициализатором LeCun с нормальным распределением.

Смотрите также

Публичные конструкторы

СЕЛУ (Операции TF)
Создает активацию масштабированной экспоненциальной линейной единицы (SELU).

Публичные методы

Операнд <Т>
вызов (ввод операнда <T>)
Получает операцию расчета для активации.

Унаследованные методы

Публичные конструкторы

общественный SELU (Ops TF)

Создает активацию масштабированной экспоненциальной линейной единицы (SELU).

Параметры
ТС Операции TensorFlow

Публичные методы

общедоступный вызов операнда <T> (ввод операнда <T>)

Получает операцию расчета для активации.

Параметры
вход входной тензор
Возврат
  • Операнд для активации