Perbarui '*var' sesuai dengan algoritma Adam.
$$\text{lr}_t := \mathrm{learning_rate} * \sqrt{1 - \beta_2^t} / (1 - \beta_1^t)$$$$m_t := \beta_1 * m_{t-1} + (1 - \beta_1) * g$$$$v_t := \beta_2 * v_{t-1} + (1 - \beta_2) * g * g$$$$\hat{v}_t := max{\hat{v}_{t-1}, v_t}$$$$\text{variable} := \text{variable} - \text{lr}_t * m_t / (\sqrt{\hat{v}_t} + \epsilon)$$
Kelas Bersarang
kelas | ResourceApplyAdamWithAmsgrad.Options | Atribut opsional untuk ResourceApplyAdamWithAmsgrad |
Metode Publik
statis <T> ResourceApplyAdamWithAmsgrad | buat ( Lingkup lingkup, Operand <?> var, Operand <?> m, Operand <?> v, Operand <?> vhat, Operand <T> beta1Power, Operand <T> beta2Power, Operand <T> lr, Operand <T > beta1, Operan <T> beta2, Operan <T> epsilon, Operan <T> lulusan, Opsi... opsi) Metode pabrik untuk membuat kelas yang membungkus operasi ResourceApplyAdamWithAmsgrad baru. |
ResourceApplyAdamWithAmsgrad.Options statis | useLocking (penguncian penggunaan Boolean) |
Metode Warisan
Metode Publik
public static ResourceApplyAdamWithAmsgrad buat ( Ruang lingkup, Operan <?> var, Operan <?> m, Operan <?> v, Operan <?> vhat, Operan <T> beta1Power, Operan <T> beta2Power, Operan <T> lr, Operan <T> beta1, Operan <T> beta2, Operan <T> epsilon, Operan <T> grad, Opsi... opsi)
Metode pabrik untuk membuat kelas yang membungkus operasi ResourceApplyAdamWithAmsgrad baru.
Parameter
cakupan | ruang lingkup saat ini |
---|---|
var | Harus dari Variabel(). |
M | Harus dari Variabel(). |
ay | Harus dari Variabel(). |
vhat | Harus dari Variabel(). |
beta1Kekuatan | Pasti skalar. |
beta2Kekuatan | Pasti skalar. |
lr | Faktor skala. Pasti skalar. |
beta1 | Faktor momentum. Pasti skalar. |
beta2 | Faktor momentum. Pasti skalar. |
epsilon | Istilah punggung bukit. Pasti skalar. |
lulusan | Gradien. |
pilihan | membawa nilai atribut opsional |
Kembali
- contoh baru ResourceApplyAdamWithAmsgrad
ResourceApplyAdamWithAmsgrad.Options statis publik useLocking (Boolean useLocking)
Parameter
gunakan Penguncian | Jika `True`, pembaruan tensor var, m, dan v akan dilindungi oleh kunci; jika tidak, perilaku tersebut tidak terdefinisikan, namun mungkin menunjukkan lebih sedikit pertentangan. |
---|