Perbarui '*var' sesuai dengan algoritma RMSProp terpusat.
Algoritme RMSProp terpusat menggunakan perkiraan momen kedua terpusat (yaitu varians) untuk normalisasi, berbeda dengan RMSProp biasa, yang menggunakan momen kedua (tidak terpusat). Hal ini sering kali membantu dalam pelatihan, namun sedikit lebih mahal dalam hal komputasi dan memori.
Perhatikan bahwa dalam implementasi padat dari algoritme ini, mg, ms, dan mom akan diperbarui meskipun gradasinya nol, tetapi dalam implementasi yang jarang ini, mg, ms, dan mom tidak akan diperbarui dalam iterasi yang gradannya nol.
mean_square = peluruhan * mean_square + (1-decay) * gradien ** 2 mean_grad = peluruhan * mean_grad + (1-decay) * gradien Delta = learning_rate * gradien / sqrt(mean_square + epsilon - mean_grad ** 2)
ms <- rho * ms_{t-1} + (1-rho) * lulusan * lulusan ibu <- momentum * ibu_{t-1} + lr * lulusan / sqrt(ms + epsilon) var <- var - ibu
Kelas Bersarang
kelas | ResourceSparseApplyCenteredRmsProp.Options | Atribut opsional untuk ResourceSparseApplyCenteredRmsProp |
Konstanta
Rangkaian | OP_NAME | Nama operasi ini dikenal dengan mesin inti TensorFlow |
Metode Publik
statis <T memperluas TType > ResourceSparseApplyCenteredRmsProp | buat ( Lingkup lingkup, Operand <?> var, Operand <?> mg, Operand <?> ms, Operand <?> mom, Operand <T> lr, Operand <T> rho, Operand <T> momentum, Operand <T > epsilon, Operand <T> grad, Operand <?extender TNumber > indeks, Opsi... opsi) Metode pabrik untuk membuat kelas yang membungkus operasi ResourceSparseApplyCenteredRmsProp baru. |
ResourceSparseApplyCenteredRmsProp.Options statis | useLocking (penguncian penggunaan Boolean) |
Metode Warisan
Konstanta
String akhir statis publik OP_NAME
Nama operasi ini dikenal dengan mesin inti TensorFlow
Metode Publik
public static ResourceSparseApplyCenteredRmsProp buat ( Ruang lingkup, Operan <?> var, Operan <?> mg, Operan <?> ms, Operan <?> ibu, Operan <T> lr, Operan <T> rho, Operan <T> momentum, Operand <T> epsilon, Operand <T> grad, Operand <?extender TNumber > indeks, Opsi... opsi)
Metode pabrik untuk membuat kelas yang membungkus operasi ResourceSparseApplyCenteredRmsProp baru.
Parameter
cakupan | ruang lingkup saat ini |
---|---|
var | Harus dari Variabel(). |
mg | Harus dari Variabel(). |
MS | Harus dari Variabel(). |
Mama | Harus dari Variabel(). |
lr | Faktor skala. Pasti skalar. |
rho | Tingkat pembusukan. Pasti skalar. |
epsilon | Istilah punggung bukit. Pasti skalar. |
lulusan | Gradien. |
indeks | Vektor indeks ke dalam dimensi pertama var, ms dan mom. |
pilihan | membawa nilai atribut opsional |
Kembali
- contoh baru ResourceSparseApplyCenteredRmsProp
ResourceSparseApplyCenteredRmsProp.Options statis publik useLocking (Boolean useLocking)
Parameter
gunakan Penguncian | Jika `True`, pembaruan tensor var, mg, ms, dan mom dilindungi oleh kunci; jika tidak, perilaku tersebut tidak terdefinisikan, namun mungkin menunjukkan lebih sedikit pertentangan. |
---|
Perbarui '*var' sesuai dengan algoritma RMSProp terpusat.
Algoritme RMSProp terpusat menggunakan perkiraan momen kedua terpusat (yaitu varians) untuk normalisasi, berbeda dengan RMSProp biasa, yang menggunakan momen kedua (tidak terpusat). Hal ini sering kali membantu dalam pelatihan, namun sedikit lebih mahal dalam hal komputasi dan memori.
Perhatikan bahwa dalam implementasi padat dari algoritme ini, mg, ms, dan mom akan diperbarui meskipun gradasinya nol, tetapi dalam implementasi yang jarang ini, mg, ms, dan mom tidak akan diperbarui dalam iterasi yang gradannya nol.
mean_square = peluruhan * mean_square + (1-decay) * gradien ** 2 mean_grad = peluruhan * mean_grad + (1-decay) * gradien Delta = learning_rate * gradien / sqrt(mean_square + epsilon - mean_grad ** 2)
ms <- rho * ms_{t-1} + (1-rho) * lulusan * lulusan ibu <- momentum * ibu_{t-1} + lr * lulusan / sqrt(ms + epsilon) var <- var - ibu
Kelas Bersarang
kelas | ResourceSparseApplyCenteredRmsProp.Options | Atribut opsional untuk ResourceSparseApplyCenteredRmsProp |
Konstanta
Rangkaian | OP_NAME | Nama operasi ini dikenal dengan mesin inti TensorFlow |
Metode Publik
statis <T memperluas TType > ResourceSparseApplyCenteredRmsProp | buat ( Lingkup lingkup, Operand <?> var, Operand <?> mg, Operand <?> ms, Operand <?> mom, Operand <T> lr, Operand <T> rho, Operand <T> momentum, Operand <T > epsilon, Operand <T> grad, Operand <?extender TNumber > indeks, Opsi... opsi) Metode pabrik untuk membuat kelas yang membungkus operasi ResourceSparseApplyCenteredRmsProp baru. |
ResourceSparseApplyCenteredRmsProp.Options statis | useLocking (penguncian penggunaan Boolean) |
Metode Warisan
Konstanta
String akhir statis publik OP_NAME
Nama operasi ini dikenal dengan mesin inti TensorFlow
Metode Publik
public static ResourceSparseApplyCenteredRmsProp buat ( Ruang lingkup, Operan <?> var, Operan <?> mg, Operan <?> ms, Operan <?> ibu, Operan <T> lr, Operan <T> rho, Operan <T> momentum, Operand <T> epsilon, Operand <T> grad, Operand <?extender TNumber > indeks, Opsi... opsi)
Metode pabrik untuk membuat kelas yang membungkus operasi ResourceSparseApplyCenteredRmsProp baru.
Parameter
cakupan | ruang lingkup saat ini |
---|---|
var | Harus dari Variabel(). |
mg | Harus dari Variabel(). |
MS | Harus dari Variabel(). |
Mama | Harus dari Variabel(). |
lr | Faktor skala. Pasti skalar. |
rho | Tingkat pembusukan. Pasti skalar. |
epsilon | Istilah punggung bukit. Pasti skalar. |
lulusan | Gradien. |
indeks | Vektor indeks ke dalam dimensi pertama var, ms dan mom. |
pilihan | membawa nilai atribut opsional |
Kembali
- contoh baru ResourceSparseApplyCenteredRmsProp
ResourceSparseApplyCenteredRmsProp.Options statis publik useLocking (Boolean useLocking)
Parameter
gunakan Penguncian | Jika `True`, pembaruan tensor var, mg, ms, dan mom dilindungi oleh kunci; jika tidak, perilaku tersebut tidak terdefinisikan, namun mungkin menunjukkan lebih sedikit pertentangan. |
---|