Cập nhật '*var' theo thuật toán RMSProp.
Lưu ý rằng khi triển khai dày đặc thuật toán này, ms và mom sẽ cập nhật ngay cả khi grad bằng 0, nhưng trong cách triển khai thưa thớt này, ms và mom sẽ không cập nhật trong các lần lặp trong đó grad bằng 0.
trung bình_vuông = phân rã * trung bình_vuông + (1-phân rã) * gradient ** 2 Delta = tốc độ học tập * gradient / sqrt(mean_square + epsilon)
ms <- rho * ms_{t-1} + (1-rho) * grad * grad mẹ <- đà * mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - mom
Các lớp lồng nhau
lớp học | ResourceSparseApplyRmsProp.Options | Thuộc tính tùy chọn cho ResourceSparseApplyRmsProp |
Hằng số
Sợi dây | OP_NAME | Tên của op này, được biết đến bởi công cụ lõi TensorFlow |
Phương pháp công khai
tĩnh <T mở rộng TType > ResourceSparseApplyRmsProp | tạo ( Phạm vi phạm vi, Toán hạng <?> var, Toán hạng <?> ms, Toán hạng <?> mẹ, Toán hạng <T> lr, Toán hạng <T> rho, Toán hạng <T> đà, Toán hạng <T> epsilon, Toán hạng <T > grad, Toán hạng <? mở rộng TNumber > chỉ mục, Tùy chọn... tùy chọn) Phương thức gốc để tạo một lớp bao bọc một hoạt động ResourceSparseApplyRmsProp mới. |
tĩnh ResourceSparseApplyRmsProp.Options | useLocking (Boolean useLocking) |
Phương pháp kế thừa
Hằng số
Chuỗi cuối cùng tĩnh công khai OP_NAME
Tên của op này, được biết đến bởi công cụ lõi TensorFlow
Phương pháp công khai
public static ResourceSparseApplyRmsProp tạo ( Phạm vi phạm vi, Toán hạng <?> var, Toán hạng <?> ms, Toán hạng <?> mẹ, Toán hạng <T> lr, Toán hạng <T> rho, Toán hạng <T> đà, Toán hạng <T> epsilon, Toán hạng <T> grad, Toán hạng <? mở rộng TNumber > chỉ mục, Tùy chọn... tùy chọn)
Phương thức gốc để tạo một lớp bao bọc một hoạt động ResourceSparseApplyRmsProp mới.
Thông số
phạm vi | phạm vi hiện tại |
---|---|
var | Phải từ một Biến(). |
bệnh đa xơ cứng | Phải từ một Biến(). |
mẹ | Phải từ một Biến(). |
lr | Yếu tố nhân rộng. Phải là một vô hướng. |
rho | Tốc độ phân hủy. Phải là một vô hướng. |
epsilon | Thuật ngữ sườn núi. Phải là một vô hướng. |
tốt nghiệp | Độ dốc. |
chỉ số | Một vectơ chỉ số theo chiều thứ nhất của var, ms và mom. |
tùy chọn | mang các giá trị thuộc tính tùy chọn |
Trả lại
- một phiên bản mới của ResourceSparseApplyRmsProp
public static ResourceSparseApplyRmsProp.Options useLocking (Boolean useLocking)
Thông số
sử dụngKhóa | Nếu `True`, việc cập nhật các tensor var, ms và mom được bảo vệ bằng khóa; mặt khác, hành vi không được xác định, nhưng có thể ít gây tranh cãi hơn. |
---|