ResourceSparseApplyCenteredRmsProp

kelas akhir publik ResourceSparseApplyCenteredRmsProp

Perbarui '*var' sesuai dengan algoritma RMSProp terpusat.

Algoritme RMSProp terpusat menggunakan perkiraan momen kedua terpusat (yaitu varians) untuk normalisasi, berbeda dengan RMSProp biasa, yang menggunakan momen kedua (tidak terpusat). Hal ini sering kali membantu dalam pelatihan, namun sedikit lebih mahal dalam hal komputasi dan memori.

Perhatikan bahwa dalam implementasi padat dari algoritme ini, mg, ms, dan mom akan diperbarui meskipun gradasinya nol, tetapi dalam implementasi yang jarang ini, mg, ms, dan mom tidak akan diperbarui dalam iterasi yang gradannya nol.

mean_square = peluruhan * mean_square + (1-decay) * gradien ** 2 mean_grad = peluruhan * mean_grad + (1-decay) * gradien Delta = learning_rate * gradien / sqrt(mean_square + epsilon - mean_grad ** 2)

ms <- rho * ms_{t-1} + (1-rho) * lulusan * lulusan ibu <- momentum * ibu_{t-1} + lr * lulusan / sqrt(ms + epsilon) var <- var - ibu

Kelas Bersarang

kelas ResourceSparseApplyCenteredRmsProp.Options Atribut opsional untuk ResourceSparseApplyCenteredRmsProp

Konstanta

Rangkaian OP_NAME Nama operasi ini dikenal dengan mesin inti TensorFlow

Metode Publik

statis <T memperluas TType > ResourceSparseApplyCenteredRmsProp
buat ( Lingkup lingkup, Operand <?> var, Operand <?> mg, Operand <?> ms, Operand <?> mom, Operand <T> lr, Operand <T> rho, Operand <T> momentum, Operand <T > epsilon, Operand <T> grad, Operand <?extender TNumber > indeks, Opsi... opsi)
Metode pabrik untuk membuat kelas yang membungkus operasi ResourceSparseApplyCenteredRmsProp baru.
ResourceSparseApplyCenteredRmsProp.Options statis
useLocking (penguncian penggunaan Boolean)

Metode Warisan

Konstanta

String akhir statis publik OP_NAME

Nama operasi ini dikenal dengan mesin inti TensorFlow

Nilai Konstan: "ResourceSparseApplyCenteredRMSProp"

Metode Publik

public static ResourceSparseApplyCenteredRmsProp buat ( Ruang lingkup, Operan <?> var, Operan <?> mg, Operan <?> ms, Operan <?> ibu, Operan <T> lr, Operan <T> rho, Operan <T> momentum, Operand <T> epsilon, Operand <T> grad, Operand <?extender TNumber > indeks, Opsi... opsi)

Metode pabrik untuk membuat kelas yang membungkus operasi ResourceSparseApplyCenteredRmsProp baru.

Parameter
cakupan ruang lingkup saat ini
var Harus dari Variabel().
mg Harus dari Variabel().
MS Harus dari Variabel().
Mama Harus dari Variabel().
lr Faktor skala. Pasti skalar.
rho Tingkat pembusukan. Pasti skalar.
epsilon Istilah punggung bukit. Pasti skalar.
lulusan Gradien.
indeks Vektor indeks ke dalam dimensi pertama var, ms dan mom.
pilihan membawa nilai atribut opsional
Kembali
  • contoh baru ResourceSparseApplyCenteredRmsProp

ResourceSparseApplyCenteredRmsProp.Options statis publik useLocking (Boolean useLocking)

Parameter
gunakan Penguncian Jika `True`, pembaruan tensor var, mg, ms, dan mom dilindungi oleh kunci; jika tidak, perilaku tersebut tidak terdefinisikan, namun mungkin menunjukkan lebih sedikit pertentangan.
,
kelas akhir publik ResourceSparseApplyCenteredRmsProp

Perbarui '*var' sesuai dengan algoritma RMSProp terpusat.

Algoritme RMSProp terpusat menggunakan perkiraan momen kedua terpusat (yaitu varians) untuk normalisasi, berbeda dengan RMSProp biasa, yang menggunakan momen kedua (tidak terpusat). Hal ini sering kali membantu dalam pelatihan, namun sedikit lebih mahal dalam hal komputasi dan memori.

Perhatikan bahwa dalam implementasi padat dari algoritme ini, mg, ms, dan mom akan diperbarui meskipun gradasinya nol, tetapi dalam implementasi yang jarang ini, mg, ms, dan mom tidak akan diperbarui dalam iterasi yang gradannya nol.

mean_square = peluruhan * mean_square + (1-decay) * gradien ** 2 mean_grad = peluruhan * mean_grad + (1-decay) * gradien Delta = learning_rate * gradien / sqrt(mean_square + epsilon - mean_grad ** 2)

ms <- rho * ms_{t-1} + (1-rho) * lulusan * lulusan ibu <- momentum * ibu_{t-1} + lr * lulusan / sqrt(ms + epsilon) var <- var - ibu

Kelas Bersarang

kelas ResourceSparseApplyCenteredRmsProp.Options Atribut opsional untuk ResourceSparseApplyCenteredRmsProp

Konstanta

Rangkaian OP_NAME Nama operasi ini dikenal dengan mesin inti TensorFlow

Metode Publik

statis <T memperluas TType > ResourceSparseApplyCenteredRmsProp
buat ( Lingkup lingkup, Operand <?> var, Operand <?> mg, Operand <?> ms, Operand <?> mom, Operand <T> lr, Operand <T> rho, Operand <T> momentum, Operand <T > epsilon, Operand <T> grad, Operand <?extender TNumber > indeks, Opsi... opsi)
Metode pabrik untuk membuat kelas yang membungkus operasi ResourceSparseApplyCenteredRmsProp baru.
ResourceSparseApplyCenteredRmsProp.Options statis
useLocking (penguncian penggunaan Boolean)

Metode Warisan

Konstanta

String akhir statis publik OP_NAME

Nama operasi ini dikenal dengan mesin inti TensorFlow

Nilai Konstan: "ResourceSparseApplyCenteredRMSProp"

Metode Publik

public static ResourceSparseApplyCenteredRmsProp buat ( Ruang lingkup, Operan <?> var, Operan <?> mg, Operan <?> ms, Operan <?> ibu, Operan <T> lr, Operan <T> rho, Operan <T> momentum, Operand <T> epsilon, Operand <T> grad, Operand <?extender TNumber > indeks, Opsi... opsi)

Metode pabrik untuk membuat kelas yang membungkus operasi ResourceSparseApplyCenteredRmsProp baru.

Parameter
cakupan ruang lingkup saat ini
var Harus dari Variabel().
mg Harus dari Variabel().
MS Harus dari Variabel().
Mama Harus dari Variabel().
lr Faktor skala. Pasti skalar.
rho Tingkat pembusukan. Pasti skalar.
epsilon Istilah punggung bukit. Pasti skalar.
lulusan Gradien.
indeks Vektor indeks ke dalam dimensi pertama var, ms dan mom.
pilihan membawa nilai atribut opsional
Kembali
  • contoh baru ResourceSparseApplyCenteredRmsProp

ResourceSparseApplyCenteredRmsProp.Options statis publik useLocking (Boolean useLocking)

Parameter
gunakan Penguncian Jika `True`, pembaruan tensor var, mg, ms, dan mom dilindungi oleh kunci; jika tidak, perilaku tersebut tidak terdefinisikan, namun mungkin menunjukkan lebih sedikit pertentangan.