Perbarui entri yang relevan di '*var' dan '*accum' sesuai dengan skema momentum.
Set use_nesterov = True jika Anda ingin menggunakan momentum Nesterov.
Itu untuk baris yang kami miliki grad, kami memperbarui var dan accum sebagai berikut:
akum = akum * momentum - lr * grad var += akum
Kelas Bersarang
kelas | ResourceSparseApplyKerasMomentum.Options | Atribut opsional untuk ResourceSparseApplyKerasMomentum |
Metode Publik
statis <T, U meluas Nomor> ResourceSparseApplyKerasMomentum | |
statis ResourceSparseApplyKerasMomentum.Options | useLocking (Boolean useLocking) |
statis ResourceSparseApplyKerasMomentum.Options | useNesterov (Boolean useNesterov) |
Metode yang Diwarisi
Metode Publik
public static ResourceSparseApplyKerasMomentum membuat ( Scope lingkup, Operan <?> var, Operan <?> accum, Operan <T> lr, Operan <T> grad, Operan <U> indeks, Operan <T> momentum, Options ... pilihan)
Metode pabrik untuk membuat kelas yang membungkus operasi ResourceSparseApplyKerasMomentum baru.
Parameter
cakupan | lingkup saat ini |
---|---|
var | Harus dari Variabel(). |
mengumpulkan | Harus dari Variabel(). |
lr | Tingkat belajar. Harus skalar. |
lulusan | Gradien. |
indeks | Vektor indeks ke dalam dimensi pertama var dan accum. |
momentum | momentum. Harus skalar. |
pilihan | membawa nilai atribut opsional |
Kembali
- contoh baru ResourceSparseApplyKerasMomentum
public static ResourceSparseApplyKerasMomentum.Options useLocking (Boolean useLocking)
Parameter
gunakanPenguncian | Jika `True`, pembaruan tensor var dan accum akan dilindungi oleh kunci; jika tidak, perilaku tidak terdefinisi, tetapi mungkin menunjukkan lebih sedikit pertentangan. |
---|
public static ResourceSparseApplyKerasMomentum.Options useNesterov (Boolean useNesterov)
Parameter
gunakanNesterov | Jika `True`, tensor yang diteruskan untuk menghitung grad akan menjadi var + momentum * accum, jadi pada akhirnya, var yang Anda dapatkan sebenarnya adalah var + momentum * accum. |
---|