ResourceApplyAdam

lớp cuối cùng công khai ResourceApplyAdam

Cập nhật '*var' theo thuật toán Adam.

$$\text{lr}_t := \mathrm{learning_rate} * \sqrt{1 - \beta_2^t} / (1 - \beta_1^t)$$$$m_t := \beta_1 * m_{t-1} + (1 - \beta_1) * g$$$$v_t := \beta_2 * v_{t-1} + (1 - \beta_2) * g * g$$$$\text{variable} := \text{variable} - \text{lr}_t * m_t / (\sqrt{v_t} + \epsilon)$$

Các lớp lồng nhau

lớp học ResourceApplyAdam.Options Thuộc tính tùy chọn cho ResourceApplyAdam

Hằng số

Sợi dây OP_NAME Tên của op này, được biết đến bởi công cụ lõi TensorFlow

Phương pháp công khai

tĩnh <T mở rộng TType > ResourceApplyAdam
tạo ( Phạm vi phạm vi, Toán hạng <?> var, Toán hạng <?> m, Toán hạng <?> v, Toán hạng <T> beta1Power, Toán hạng <T> beta2Power, Toán hạng <T> lr, Toán hạng <T> beta1, Toán hạng <T > beta2, Toán hạng <T> epsilon, Toán hạng <T> cấp độ, Tùy chọn... tùy chọn)
Phương thức xuất xưởng để tạo một lớp bao bọc một hoạt động ResourceApplyAdam mới.
tĩnh ResourceApplyAdam.Options
useLocking (Boolean useLocking)
tĩnh ResourceApplyAdam.Options
useNesterov (Sử dụng BooleanNesterov)

Phương pháp kế thừa

Hằng số

Chuỗi cuối cùng tĩnh công khai OP_NAME

Tên của op này, được biết đến bởi công cụ lõi TensorFlow

Giá trị không đổi: "ResourceApplyAdam"

Phương pháp công khai

public static ResourceApplyAdam tạo ( Phạm vi phạm vi, Toán hạng <?> var, Toán hạng <?> m, Toán hạng <?> v, Toán hạng <T> beta1Power, Toán hạng <T> beta2Power, Toán hạng <T> lr, Toán hạng <T> beta1, Toán hạng <T> beta2, Toán hạng <T> epsilon, Toán hạng <T> grad, Tùy chọn... tùy chọn)

Phương thức xuất xưởng để tạo một lớp bao bọc một hoạt động ResourceApplyAdam mới.

Thông số
phạm vi phạm vi hiện tại
var Phải từ một Biến().
tôi Phải từ một Biến().
v Phải từ một Biến().
beta1Power Phải là một vô hướng.
beta2Power Phải là một vô hướng.
lr Hệ số tỷ lệ. Phải là một vô hướng.
beta1 Yếu tố động lượng. Phải là một vô hướng.
beta2 Yếu tố động lượng. Phải là một vô hướng.
epsilon Thuật ngữ sườn núi. Phải là một vô hướng.
tốt nghiệp Độ dốc.
tùy chọn mang các giá trị thuộc tính tùy chọn
Trả lại
  • một phiên bản mới của ResourceApplyAdam

public static ResourceApplyAdam.Options useLocking (Boolean useLocking)

Thông số
sử dụngKhóa Nếu `True`, việc cập nhật các tensor var, m và v sẽ được bảo vệ bằng khóa; mặt khác, hành vi không được xác định, nhưng có thể ít gây tranh cãi hơn.

public static ResourceApplyAdam.Options useNesterov (Boolean useNesterov)

Thông số
sử dụngNesterov Nếu `True`, hãy sử dụng bản cập nhật Nesterov.