공개 클래스 SELU
SELU(스케일 지수 선형 단위).
SELU(Scaled Exponential Linear Unit) 활성화 함수는 다음과 같이 정의됩니다.
-
if x > 0: return scale * x
-
if x < 0: return scale * alpha * (exp(x) - 1)
여기서 alpha
및 scale
미리 정의된 상수( alpha=1.67326324
및 scale=1.05070098
)입니다.
기본적으로 SELU 활성화 함수는 elu 함수의 출력에 scale
(> 1)을 곱하여 양수 입력에 대해 1보다 큰 기울기를 보장합니다.
scale
가 올바르게 초기화되고(정규 분포를 사용하는 LeCun
참조) 입력 단위 수가 "충분히 큰" 한 입력의 평균과 분산이 두 개의 연속 레이어 간에 유지되도록 alpha
및 스케일 값이 선택됩니다.
참고: 정규 분포와 함께 LeCun
이니셜라이저와 함께 사용됩니다.
또한보십시오
공공 생성자
공개 SELU (Ops tf)
SELU(Scaled Exponential Linear Unit) 활성화를 만듭니다.
매개변수
tf | TensorFlow 작업 |
---|