Cập nhật '*var' theo thuật toán RMSProp tập trung.
Thuật toán RMSProp tập trung sử dụng ước tính mô men thứ hai ở giữa (tức là phương sai) để chuẩn hóa, trái ngược với RMSProp thông thường, sử dụng mô men thứ hai (không có tâm). Điều này thường giúp ích cho việc đào tạo nhưng đắt hơn một chút về mặt tính toán và bộ nhớ.
Lưu ý rằng khi triển khai dày đặc thuật toán này, mg, ms và mom sẽ cập nhật ngay cả khi grad bằng 0, nhưng trong cách triển khai thưa thớt này, mg, ms và mom sẽ không cập nhật trong các lần lặp trong đó grad bằng 0.
trung bình_bình phương = phân rã * bình_trung bình + (1-phân rã) * độ dốc ** 2 trung bình_grad = phân rã * trung bình_grad + (1-phân rã) * độ dốc
Delta = learning_rate * gradient / sqrt(mean_square + epsilon - Mean_grad ** 2)
mg <- rho * mg_{t-1} + (1-rho) * grad ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- đà * mom_{t-1 } + lr * grad / sqrt(ms - mg * mg + epsilon) var <- var - mom
Các lớp lồng nhau
| lớp học | ApplyCenteredRmsProp.Options | Thuộc tính tùy chọn cho ApplyCenteredRmsProp | |
Hằng số
| Sợi dây | OP_NAME | Tên của op này, được biết đến bởi công cụ lõi TensorFlow |
Phương pháp công khai
| Đầu ra <T> | asOutput () Trả về tay cầm tượng trưng của tensor. |
| tĩnh <T mở rộng TType > ApplyCenteredRmsProp <T> | |
| Đầu ra <T> | ngoài () Tương tự như "var". |
| tĩnh ApplyCenteredRmsProp.Options | useLocking (Boolean useLocking) |
Phương pháp kế thừa
Hằng số
Chuỗi cuối cùng tĩnh công khai OP_NAME
Tên của op này, được biết đến bởi công cụ lõi TensorFlow
Phương pháp công khai
Đầu ra công khai <T> asOutput ()
Trả về tay cầm tượng trưng của tensor.
Đầu vào của các hoạt động TensorFlow là đầu ra của một hoạt động TensorFlow khác. Phương pháp này được sử dụng để thu được một thẻ điều khiển mang tính biểu tượng đại diện cho việc tính toán đầu vào.
public static ApplyCenteredRmsProp <T> tạo ( Phạm vi phạm vi, Toán hạng <T> var, Toán hạng <T> mg, Toán hạng <T> ms, Toán hạng <T> mẹ, Toán hạng <T> lr, Toán hạng <T> rho, Toán hạng <T > đà, Toán hạng <T> epsilon, Toán hạng <T> cấp độ, Tùy chọn... tùy chọn)
Phương thức gốc để tạo một lớp bao bọc một thao tác ApplyCenteredRmsProp mới.
Thông số
| phạm vi | phạm vi hiện tại |
|---|---|
| var | Phải từ một Biến(). |
| mg | Phải từ một Biến(). |
| bệnh đa xơ cứng | Phải từ một Biến(). |
| mẹ | Phải từ một Biến(). |
| lr | Yếu tố nhân rộng. Phải là một vô hướng. |
| rho | Tốc độ phân hủy. Phải là một vô hướng. |
| Quán tính | Thang đo động lượng. Phải là một vô hướng. |
| epsilon | Thuật ngữ sườn núi. Phải là một vô hướng. |
| tốt nghiệp | Độ dốc. |
| tùy chọn | mang các giá trị thuộc tính tùy chọn |
Trả lại
- một phiên bản mới của ApplyCenteredRmsProp
public static ApplyCenteredRmsProp.Options useLocking (Boolean useLocking)
Thông số
| sử dụngKhóa | Nếu `True`, việc cập nhật các tensor var, mg, ms và mom được bảo vệ bằng khóa; mặt khác, hành vi không được xác định, nhưng có thể ít gây tranh cãi hơn. |
|---|