Perbarui '*var' sesuai dengan algoritma Adam.
$$\text{lr}_t := \mathrm{learning_rate} * \sqrt{1 - \beta_2^t} / (1 - \beta_1^t)$$$$m_t := \beta_1 * m_{t-1} + (1 - \beta_1) * g$$$$v_t := \beta_2 * v_{t-1} + (1 - \beta_2) * g * g$$$$\hat{v}_t := max{\hat{v}_{t-1}, v_t}$$$$\text{variable} := \text{variable} - \text{lr}_t * m_t / (\sqrt{\hat{v}_t} + \epsilon)$$
Kelas Bersarang
kelas | ResourceApplyAdamWithAmsgrad.Options | Atribut opsional untuk ResourceApplyAdamWithAmsgrad |
Metode Publik
statis <T> ResourceApplyAdamWithAmsgrad | create ( Scope scope, Operand <?> var, Operand <?> m, Operand <?> v, Operand <?> vhat, Operand <T> beta1Power, Operand <T> beta2Power, Operand <T> lr, Operand <T > beta1, Operan <T> beta2, Operan <T> epsilon, Operan <T> grad, Opsi... opsi) Metode pabrik untuk membuat kelas yang membungkus operasi ResourceApplyAdamWithAmsgrad baru. |
ResourceApplyAdamWithAmsgrad.Options statis | useLocking (Penguncian penggunaan Boolean) |
Metode yang Diwarisi
Metode Publik
public static ResourceApplyAdamWithAmsgrad create ( Scope scope, Operand <?> var, Operand <?> m, Operand <?> v, Operand <?> vhat, Operand <T> beta1Power, Operand <T> beta2Power, Operand <T> lr, Operand <T> beta1, Operand <T> beta2, Operand <T> epsilon, Operand <T> grad, Opsi... opsi)
Metode pabrik untuk membuat kelas yang membungkus operasi ResourceApplyAdamWithAmsgrad baru.
Parameter
cakupan | lingkup saat ini |
---|---|
var | Harus dari Variabel(). |
M | Harus dari Variabel(). |
v | Harus dari Variabel(). |
apa | Harus dari Variabel(). |
beta1Power | Harus skalar. |
beta2Power | Harus skalar. |
lr | Faktor skala. Harus skalar. |
beta1 | Faktor momentum. Harus skalar. |
beta2 | Faktor momentum. Harus skalar. |
epsilon | Istilah punggungan. Harus skalar. |
lulusan | Gradien. |
pilihan | membawa nilai atribut opsional |
Kembali
- contoh baru ResourceApplyAdamWithAmsgrad
ResourceApplyAdamWithAmsgrad.Options public static useLocking (Boolean useLocking)
Parameter
gunakanPenguncian | Jika `True`, pembaruan tensor var, m, dan v akan dilindungi oleh kunci; jika tidak, perilaku tidak terdefinisi, tetapi mungkin menunjukkan lebih sedikit pertentangan. |
---|