lớp công khai SELU
Đơn vị tuyến tính hàm mũ (SELU).
Hàm kích hoạt Đơn vị tuyến tính hàm mũ (SELU) được định nghĩa là:
-
if x > 0: return scale * x -
if x < 0: return scale * alpha * (exp(x) - 1)
trong đó alpha và scale là các hằng số được xác định trước ( alpha=1.67326324 và scale=1.05070098 ).
Về cơ bản, hàm kích hoạt SELU nhân scale (> 1) với đầu ra của hàm elu để đảm bảo độ dốc lớn hơn 1 đối với đầu vào dương.
Các giá trị của alpha và scale được chọn sao cho giá trị trung bình và phương sai của đầu vào được giữ nguyên giữa hai lớp liên tiếp miễn là trọng số được khởi tạo chính xác (xem LeCun với Phân phối chuẩn) và số lượng đơn vị đầu vào "đủ lớn"
Lưu ý: Được sử dụng cùng với trình khởi tạo LeCun với Phân phối chuẩn.
Xem thêm
Nhà xây dựng công cộng
SELU (Ops tf) Tạo kích hoạt Đơn vị tuyến tính hàm mũ theo tỷ lệ (SELU). |
Phương pháp công cộng
| Toán hạng <T> |
Phương pháp kế thừa
Nhà xây dựng công cộng
SELU công khai (Ops tf)
Tạo kích hoạt Đơn vị tuyến tính hàm mũ theo tỷ lệ (SELU).
Thông số
| tf | hoạt động của TensorFlow |
|---|