ResourceApplyAdamWithAmsgrad

kelas akhir publik ResourceApplyAdamWithAmsgrad

Perbarui '*var' sesuai dengan algoritma Adam.

$$\text{lr}_t := \mathrm{learning_rate} * \sqrt{1 - \beta_2^t} / (1 - \beta_1^t)$$$$m_t := \beta_1 * m_{t-1} + (1 - \beta_1) * g$$$$v_t := \beta_2 * v_{t-1} + (1 - \beta_2) * g * g$$$$\hat{v}_t := max{\hat{v}_{t-1}, v_t}$$$$\text{variable} := \text{variable} - \text{lr}_t * m_t / (\sqrt{\hat{v}_t} + \epsilon)$$

Kelas Bersarang

kelas ResourceApplyAdamWithAmsgrad.Options Atribut opsional untuk ResourceApplyAdamWithAmsgrad

Metode Publik

statis <T> ResourceApplyAdamWithAmsgrad
buat ( Lingkup lingkup, Operand <?> var, Operand <?> m, Operand <?> v, Operand <?> vhat, Operand <T> beta1Power, Operand <T> beta2Power, Operand <T> lr, Operand <T > beta1, Operan <T> beta2, Operan <T> epsilon, Operan <T> lulusan, Opsi... opsi)
Metode pabrik untuk membuat kelas yang membungkus operasi ResourceApplyAdamWithAmsgrad baru.
ResourceApplyAdamWithAmsgrad.Options statis
useLocking (penguncian penggunaan Boolean)

Metode Warisan

Metode Publik

public static ResourceApplyAdamWithAmsgrad buat ( Ruang lingkup, Operan <?> var, Operan <?> m, Operan <?> v, Operan <?> vhat, Operan <T> beta1Power, Operan <T> beta2Power, Operan <T> lr, Operan <T> beta1, Operan <T> beta2, Operan <T> epsilon, Operan <T> grad, Opsi... opsi)

Metode pabrik untuk membuat kelas yang membungkus operasi ResourceApplyAdamWithAmsgrad baru.

Parameter
cakupan ruang lingkup saat ini
var Harus dari Variabel().
M Harus dari Variabel().
ay Harus dari Variabel().
vhat Harus dari Variabel().
beta1Kekuatan Pasti skalar.
beta2Kekuatan Pasti skalar.
lr Faktor skala. Pasti skalar.
beta1 Faktor momentum. Pasti skalar.
beta2 Faktor momentum. Pasti skalar.
epsilon Istilah punggung bukit. Pasti skalar.
lulusan Gradien.
pilihan membawa nilai atribut opsional
Kembali
  • contoh baru ResourceApplyAdamWithAmsgrad

ResourceApplyAdamWithAmsgrad.Options statis publik useLocking (Boolean useLocking)

Parameter
gunakan Penguncian Jika `True`, pembaruan tensor var, m, dan v akan dilindungi oleh kunci; jika tidak, perilaku tersebut tidak terdefinisikan, namun mungkin menunjukkan lebih sedikit pertentangan.