Масштабированная экспоненциальная линейная единица (SELU).
Функция активации масштабированной экспоненциальной линейной единицы (SELU) определяется как:
-
if x > 0: return scale * x -
if x < 0: return scale * alpha * (exp(x) - 1)
где alpha и scale — предварительно определенные константы ( alpha=1.67326324 и scale=1.05070098 ).
По сути, функция активации SELU умножает scale (> 1) на выходной сигнал функции elu, чтобы обеспечить крутизну, превышающую единицу, для положительных входных сигналов.
Значения alpha и scale выбираются таким образом, чтобы среднее значение и дисперсия входных данных сохранялись между двумя последовательными слоями, пока веса инициализируются правильно (см. LeCun с нормальным распределением) и количество входных единиц «достаточно велико».
Примечания: Используется вместе с инициализатором LeCun с нормальным распределением.
Смотрите также
Публичные конструкторы
СЕЛУ (Операции TF) Создает активацию масштабированной экспоненциальной линейной единицы (SELU). |
Публичные методы
| Операнд <Т> |
Унаследованные методы
Публичные конструкторы
общественный SELU (Ops TF)
Создает активацию масштабированной экспоненциальной линейной единицы (SELU).
Параметры
| ТС | Операции TensorFlow |
|---|