Perbarui '*var' sesuai dengan algoritma RMSProp.
Perhatikan bahwa dalam penerapan algoritma ini yang padat, ms dan mom akan memperbarui meskipun gradasinya nol, tetapi dalam implementasi yang jarang ini, ms dan mom tidak akan memperbarui dalam iterasi yang gradannya nol.
mean_square = peluruhan * mean_square + (1-decay) * gradien ** 2 Delta = learning_rate * gradien / sqrt(mean_square + epsilon)
ms <- rho * ms_{t-1} + (1-rho) * lulusan * lulusan ibu <- momentum * ibu_{t-1} + lr * lulusan / sqrt(ms + epsilon) var <- var - ibu
Kelas Bersarang
kelas | TerapkanRmsProp.Options | Atribut opsional untuk ApplyRmsProp |
Konstanta
Rangkaian | OP_NAME | Nama operasi ini dikenal dengan mesin inti TensorFlow |
Metode Publik
Keluaran <T> | sebagai Keluaran () Mengembalikan pegangan simbolis tensor. |
statis <T memperluas TType > ApplyRmsProp <T> | |
Keluaran <T> | keluar () Sama seperti "var". |
ApplyRmsProp.Options statis | useLocking (penguncian penggunaan Boolean) |
Metode Warisan
Konstanta
String akhir statis publik OP_NAME
Nama operasi ini dikenal dengan mesin inti TensorFlow
Metode Publik
Keluaran publik <T> sebagai Keluaran ()
Mengembalikan pegangan simbolis tensor.
Masukan ke operasi TensorFlow adalah keluaran dari operasi TensorFlow lainnya. Metode ini digunakan untuk mendapatkan pegangan simbolis yang mewakili perhitungan input.
public static ApplyRmsProp <T> buat ( Lingkup lingkup, Operand <T> var, Operand <T> ms, Operand <T> mom, Operand <T> lr, Operand <T> rho, Operand <T> momentum, Operand <T > epsilon, Operan <T> lulusan, Opsi... opsi)
Metode pabrik untuk membuat kelas yang membungkus operasi ApplyRmsProp baru.
Parameter
cakupan | ruang lingkup saat ini |
---|---|
var | Harus dari Variabel(). |
MS | Harus dari Variabel(). |
Mama | Harus dari Variabel(). |
lr | Faktor skala. Pasti skalar. |
rho | Tingkat pembusukan. Pasti skalar. |
epsilon | Istilah punggung bukit. Pasti skalar. |
lulusan | Gradien. |
pilihan | membawa nilai atribut opsional |
Kembali
- contoh baru dari ApplyRmsProp
ApplyRmsProp.Options statis publik useLocking (Boolean useLocking)
Parameter
gunakan Penguncian | Jika `True`, pembaruan tensor var, ms, dan mom dilindungi oleh kunci; jika tidak, perilaku tersebut tidak terdefinisikan, namun mungkin menunjukkan lebih sedikit pertentangan. |
---|