Масштабированная экспоненциальная линейная единица (SELU).
Функция активации масштабированной экспоненциальной линейной единицы (SELU) определяется как:
-
if x > 0: return scale * x -
if x < 0: return scale * alpha * (exp(x) - 1)
где alpha и scale — предварительно определенные константы ( alpha=1.67326324 и scale=1.05070098 ).
По сути, функция активации SELU умножает scale (> 1) на выходной сигнал функции elu, чтобы обеспечить крутизну, превышающую единицу, для положительных входных сигналов.
Значения alpha и scale выбираются таким образом, чтобы среднее значение и дисперсия входных данных сохранялись между двумя последовательными слоями, пока веса инициализируются правильно (см. LeCun с нормальным распределением) и количество входных единиц «достаточно велико».
Примечания: Используется вместе с инициализатором LeCun с нормальным распределением.
Смотрите также
Публичные конструкторы
СЕЛУ (Операции TF) Создает активацию масштабированной экспоненциальной линейной единицы (SELU). |
Публичные методы
Унаследованные методы
| логическое значение | равно (Объект arg0) |
| последний класс<?> | получитьКласс () |
| интервал | хэш-код () |
| окончательная пустота | поставить в известность () |
| окончательная пустота | уведомитьВсе () |
| Нить | нанизывать () |
| окончательная пустота | подождать (длинный arg0, int arg1) |
| окончательная пустота | подождите (длинный arg0) |
| окончательная пустота | ждать () |
Публичные конструкторы
общественный SELU (Ops TF)
Создает активацию масштабированной экспоненциальной линейной единицы (SELU).
Параметры
| ТС | Операции TensorFlow |
|---|