tensorflow :: ops :: ApplyCenteredRMSProp

#include <training_ops.h>

"* Var" ı ortalanmış RMSProp algoritmasına göre güncelleyin.

Özet

Ortalanmış RMSProp algoritması, (ortalanmamış) ikinci anı kullanan normal RMSProp'un aksine, normalleştirme için ortalanmış ikinci momentin (yani varyans) bir tahminini kullanır. Bu genellikle eğitime yardımcı olur, ancak hesaplama ve hafıza açısından biraz daha pahalıdır.

Bu algoritmanın yoğun uygulamasında, derecelendirme sıfır olsa bile mg, ms ve anne güncellenecektir, ancak bu seyrek uygulamada, derecelendirmenin sıfır olduğu yinelemelerde mg, ms ve mom güncellenmeyecektir.

ortalama_Kare = bozunma * ortalama_Kare + (1-bozunma) * gradyan ** 2 ortalama_grad = azalma * ortalama_grad + (1-bozunma) * gradyan

Delta = öğrenme_ hızı * gradyan / sqrt (ortalama_ kare + epsilon - ortalama_grad ** 2)

mg <- rho * mg_ {t-1} + (1-rho) * grad ms <- rho * ms_ {t-1} + (1-rho) * grad * grad mom <- momentum * mom_ {t-1 } + lr * grad / sqrt (ms - mg * mg + epsilon) var <- var - anne

Argümanlar:

• kapsam: Bir Scope nesnesi
• var: Bir Değişken () 'den olmalıdır.
• mg: Bir Değişkenden () alınmalıdır.
• ms: Bir Değişkenden () olmalıdır.
• anne: Bir Değişken () 'den olmalıdır.
• lr: Ölçekleme faktörü. Skaler olmalı.
• rho: Bozunma oranı. Skaler olmalı.
• epsilon: Ridge terimi. Skaler olmalı.
• grad: Gradyan.

İsteğe bağlı özellikler (bkz. Attrs ):

• use_locking: True ise, var, mg, ms ve mom tensörlerin güncellenmesi bir kilitle korunur; aksi takdirde davranış tanımsızdır, ancak daha az çekişme gösterebilir.

İadeler:

• Output : "var" ile aynı.

Yapıcılar ve Yıkıcılar
ApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad)
ApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, const ApplyCenteredRMSProp::Attrs & attrs)

Genel özellikler
operation	Operation
out	:: tensorflow::Output

Kamusal işlevler
node () const	::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

Genel statik işlevler
UseLocking (bool x)	Attrs

Yapılar
tensorflow :: ops :: ApplyCenteredRMSProp :: Attrs	ApplyCenteredRMSProp için isteğe bağlı öznitelik belirleyiciler.

Genel özellikler

operasyon

Operation operation

dışarı

::tensorflow::Output out

Kamusal işlevler

ApplyCenteredRMSProp

 ApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad
)

ApplyCenteredRMSProp

 ApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  const ApplyCenteredRMSProp::Attrs & attrs
)

düğüm

::tensorflow::Node * node() const 

operator :: tensorflow :: Girdi

 operator::tensorflow::Input() const 

operator :: tensorflow :: Çıktı

 operator::tensorflow::Output() const 

Genel statik işlevler

Kullanım Kilitleme

Attrs UseLocking(
  bool x
)