ResourceApplyAdamWithAmsgrad

lớp cuối cùng công khai ResourceApplyAdamWithAmsgrad

Cập nhật '*var' theo thuật toán Adam.

$$\text{lr}_t := \mathrm{learning_rate} * \sqrt{1 - \beta_2^t} / (1 - \beta_1^t)$$$$m_t := \beta_1 * m_{t-1} + (1 - \beta_1) * g$$$$v_t := \beta_2 * v_{t-1} + (1 - \beta_2) * g * g$$$$\hat{v}_t := max{\hat{v}_{t-1}, v_t}$$$$\text{variable} := \text{variable} - \text{lr}_t * m_t / (\sqrt{\hat{v}_t} + \epsilon)$$

Các lớp lồng nhau

lớp học ResourceApplyAdamWithAmsgrad.Options Thuộc tính tùy chọn cho ResourceApplyAdamWithAmsgrad

Phương pháp công khai

tĩnh <T> ResourceApplyAdamWithAmsgrad
tạo ( Phạm vi phạm vi, Toán hạng <?> var, Toán hạng <?> m, Toán hạng < ?> v, Toán hạng <?> vhat, Toán hạng <T> beta1Power, Toán hạng <T> beta2Power, Toán hạng <T> lr, Toán hạng <T > beta1, Toán hạng <T> beta2, Toán hạng <T> epsilon, Toán hạng <T> cấp độ, Tùy chọn... tùy chọn)
Phương thức gốc để tạo một lớp bao bọc một hoạt động ResourceApplyAdamWithAmsgrad mới.
tĩnh ResourceApplyAdamWithAmsgrad.Options
useLocking (Boolean useLocking)

Phương pháp kế thừa

Phương pháp công khai

public static ResourceApplyAdamWithAmsgrad tạo ( Phạm vi phạm vi, Toán hạng <?> var, Toán hạng <?> m, Toán hạng <?> v, Toán hạng <?> vhat, Toán hạng <T> beta1Power, Toán hạng <T> beta2Power, Toán hạng <T> lr, Toán hạng <T> beta1, Toán hạng <T> beta2, Toán hạng <T> epsilon, Toán hạng <T> grad, Tùy chọn... tùy chọn)

Phương thức gốc để tạo một lớp bao bọc một hoạt động ResourceApplyAdamWithAmsgrad mới.

Thông số
phạm vi phạm vi hiện tại
var Phải từ một Biến().
tôi Phải từ một Biến().
v Phải từ một Biến().
vhat Phải từ một Biến().
beta1Power Phải là một vô hướng.
beta2Power Phải là một vô hướng.
lr Yếu tố nhân rộng. Phải là một vô hướng.
beta1 Yếu tố động lượng. Phải là một vô hướng.
beta2 Yếu tố động lượng. Phải là một vô hướng.
epsilon Thuật ngữ sườn núi. Phải là một vô hướng.
tốt nghiệp Độ dốc.
tùy chọn mang các giá trị thuộc tính tùy chọn
Trả lại
  • một phiên bản mới của ResourceApplyAdamWithAmsgrad

public static ResourceApplyAdamWithAmsgrad.Options useLocking (Boolean useLocking)

Thông số
sử dụngKhóa Nếu `True`, việc cập nhật các tensor var, m và v sẽ được bảo vệ bằng khóa; mặt khác, hành vi không được xác định, nhưng có thể ít gây tranh cãi hơn.