टेंसरफ़्लो :: ऑप्स :: ApplyCenteredRMSProp

#include <training_ops.h>

केंद्रित RMSProp एल्गोरिथ्म के अनुसार '* var' अपडेट करें।

सारांश

केंद्रीकृत RMSProp एल्गोरिथ्म सामान्य RMSProp के विपरीत, जो कि दूसरे महीने का उपयोग करता है, नियमित RMSProp के विपरीत, सामान्यीकरण के लिए केंद्रित दूसरे पल (यानी, विचरण) के एक अनुमान का उपयोग करता है। यह अक्सर प्रशिक्षण में मदद करता है, लेकिन गणना और स्मृति के मामले में थोड़ा अधिक महंगा है।

ध्यान दें कि इस एल्गोरिथ्म के घने क्रियान्वयन में, mg, ms, और mom भले ही ग्रेड शून्य हो, लेकिन अपडेट होगा, लेकिन इस विरल कार्यान्वयन में mg, ms, और mom पुनरावृत्तियों में अपडेट नहीं करेंगे, जिसके दौरान ग्रेड शून्य है।

mean_square = decay * mean_square + (1-क्षय) * gradient ** 2 माध्य_ग्रेड = क्षय * mean_grad + (1-क्षय) * gradient

डेल्टा = Learning_rate * gradient / sqrt (माध्य_आदर्श + एप्सिलॉन - माध्य_ग्रेड ** 2)

mg <- rho * mg_ {t-1} + (1-rho) * grad ms <- rho * ms_ {t-1} + ((1-rho) * grad * grad mom <- गति * mom_ {t-1 } + lr * grad / sqrt (ms - mg * mg + epsilon) var <- var - mom

तर्क:

  • गुंजाइश: एक स्कोप ऑब्जेक्ट
  • var: एक चर () से होना चाहिए।
  • मिलीग्राम: एक चर () से होना चाहिए।
  • एमएस: एक चर () से होना चाहिए।
  • माँ: एक चर () से होना चाहिए।
  • lr: स्केलिंग फैक्टर। एक स्केलर होना चाहिए।
  • rho: क्षय दर। एक स्केलर होना चाहिए।
  • एप्सिलॉन: रिज टर्म। एक स्केलर होना चाहिए।
  • grad: ढाल।

वैकल्पिक विशेषताएँ ( Attrs देखें):

  • use_locking: यदि True , तो var, mg, ms, और mom टेनसर्स का अद्यतन लॉक द्वारा सुरक्षित है; अन्यथा व्यवहार अपरिभाषित है, लेकिन कम विवाद को प्रदर्शित कर सकता है।

रिटर्न:

  • Output : "var" के समान।

कंस्ट्रक्टर और डिस्ट्रक्टर्स

ApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad)
ApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, const ApplyCenteredRMSProp::Attrs & attrs)

सार्वजनिक विशेषताएँ

operation
out

सार्वजनिक कार्य

node () const
::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

सार्वजनिक स्थैतिक कार्य

UseLocking (bool x)

संरचनाएं

टेनसफ़्लो :: ऑप्स :: एपेंटरट्रेडआरएमएसप्रॉप :: एट्रस

वैकल्पिक विशेषता ApplyCenteredRMSProp के लिए सेट होती है ।

सार्वजनिक विशेषताएँ

ऑपरेशन

Operation operation

बाहर

::tensorflow::Output out

सार्वजनिक कार्य

ApplyCenteredRMSProp

05 बीड 4090

ApplyCenteredRMSProp

 ApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  const ApplyCenteredRMSProp::Attrs & attrs
)

नोड

::tensorflow::Node * node() const

ऑपरेटर :: टेंसरफ़्लो :: इनपुट

 operator::tensorflow::Input() const
है

ऑपरेटर :: टेंसरफ़्लो :: आउटपुट

 operator::tensorflow::Output() const

सार्वजनिक स्थैतिक कार्य

उपयोग करना

Attrs UseLocking(
  bool x
)