tensorflow :: ops :: ResourceApplyCenteredRMSProp

#include <training_ops.h>

Perbarui '* var' sesuai dengan algoritme RMSProp yang terpusat.

Ringkasan

Algoritma RMSProp terpusat menggunakan perkiraan momen kedua terpusat (yaitu, varians) untuk normalisasi, sebagai lawan dari RMSProp biasa, yang menggunakan momen kedua (tidak terpusat). Ini sering membantu pelatihan, tetapi sedikit lebih mahal dalam hal komputasi dan memori.

Perhatikan bahwa dalam implementasi padat algoritme ini, mg, ms, dan mom akan memperbarui meskipun gradnya nol, tetapi dalam implementasi jarang ini, mg, ms, dan mom tidak akan memperbarui dalam iterasi yang nilainya nol.

mean_square = decay * mean_square + (1-decay) * gradient ** 2 mean_grad = decay * mean_grad + (1-decay) * gradien

Delta = learning_rate * gradien / sqrt (mean_square + epsilon - mean_grad ** 2)

mg <- rho * mg_ {t-1} + (1-rho) * grad ms <- rho * ms_ {t-1} + (1-rho) * grad * grad mom <- momentum * mom_ {t-1 } + lr * grad / sqrt (ms - mg * mg + epsilon) var <- var - mom

Argumen:

• scope: Objek Scope
• var: Harus dari Variabel ().
• mg: Harus dari Variabel ().
• ms: Harus dari Variabel ().
• ibu: Harus dari Variabel ().
• lr: Faktor penskalaan. Harus skalar.
• rho: Tingkat kerusakan. Harus skalar.
• epsilon: Istilah punggungan. Harus skalar.
• grad: Gradien.

Atribut opsional (lihat Attrs ):

• use_locking: Jika True , pembaruan tensor var, mg, ms, dan mom dilindungi oleh kunci; jika tidak, perilakunya tidak ditentukan, tetapi mungkin menunjukkan lebih sedikit perselisihan.

Pengembalian:

• Operation dibuat

Pembuat dan Penghancur
ResourceApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad)
ResourceApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, const ResourceApplyCenteredRMSProp::Attrs & attrs)

Atribut publik
operation	Operation

Fungsi publik
operator::tensorflow::Operation () const

Fungsi statis publik
UseLocking (bool x)	Attrs

Structs
tensorflow :: ops :: ResourceApplyCenteredRMSProp :: Attrs	Penyetel atribut opsional untuk ResourceApplyCenteredRMSProp .

Atribut publik

operasi

Operation operation

Fungsi publik

ResourceApplyCenteredRMSProp

 ResourceApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad
)

ResourceApplyCenteredRMSProp

 ResourceApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  const ResourceApplyCenteredRMSProp::Attrs & attrs
)

operator :: tensorflow :: Operasi

 operator::tensorflow::Operation() const 

Fungsi statis publik

UseLocking

Attrs UseLocking(
  bool x
)