aliran tensor:: operasi:: SparseApplyRMSProp

#include <training_ops.h>

Perbarui '*var' sesuai dengan algoritma RMSProp.

Ringkasan

Perhatikan bahwa dalam penerapan algoritma ini yang padat, ms dan mom akan memperbarui meskipun gradasinya nol, tetapi dalam implementasi yang jarang ini, ms dan mom tidak akan memperbarui dalam iterasi yang gradannya nol.

mean_square = peluruhan * mean_square + (1-decay) * gradien ** 2 Delta = learning_rate * gradien / sqrt(mean_square + epsilon)

$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$ $$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$ $$var <- var - mom$$

Argumen:

• ruang lingkup: Objek Lingkup
• var: Harus dari Variabel().
• ms: Harus dari Variabel().
• ibu: Harus dari Variabel().
• lr: Faktor penskalaan. Pasti skalar.
• rho : Tingkat pembusukan. Pasti skalar.
• epsilon: Istilah punggungan. Pasti skalar.
• lulusan: Gradien.
• indeks: Vektor indeks ke dalam dimensi pertama var, ms dan mom.

Atribut opsional (lihat Attrs ):

• use_locking: Jika True , pembaruan tensor var, ms, dan mom dilindungi oleh kunci; jika tidak, perilaku tersebut tidak terdefinisikan, namun mungkin menunjukkan lebih sedikit pertentangan.

Pengembalian:

• Output : Sama seperti "var".

Konstruktor dan Destruktor
SparseApplyRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices)
SparseApplyRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices, const SparseApplyRMSProp::Attrs & attrs)

Atribut publik
operation	Operation
out	:: tensorflow::Output

Fungsi publik
node () const	::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

Fungsi statis publik
UseLocking (bool x)	Attrs

Struktur
tensorflow:: ops:: SparseApplyRMSProp:: Attrs	Penyetel atribut opsional untuk SparseApplyRMSProp .

Atribut publik

operasi

Operation operation

keluar

::tensorflow::Output out

Fungsi publik

SparseApplyRMSProp

 SparseApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices
)

SparseApplyRMSProp

 SparseApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices,
  const SparseApplyRMSProp::Attrs & attrs
)

simpul

::tensorflow::Node * node() const 

operator::tensorflow::Masukan

 operator::tensorflow::Input() const 

operator::tensorflow::Keluaran

 operator::tensorflow::Output() const 

Fungsi statis publik

Gunakan Penguncian

Attrs UseLocking(
  bool x
)