Google I/O में ट्यूनिंग के लिए धन्यवाद। मांग पर सभी सत्र देखें मांग पर देखें

टेंसरफ़्लो :: ऑप्स :: ResourceApplyCenteredRMSProp

#include <training_ops.h>

केंद्रित RMSProp एल्गोरिथ्म के अनुसार '* var' अपडेट करें।

सारांश

केंद्रीकृत RMSProp एल्गोरिथ्म सामान्य RMSProp के विपरीत, जो कि दूसरे महीने का उपयोग करता है, नियमित RMSProp के विपरीत, सामान्यीकरण के लिए केंद्रित दूसरे पल (यानी, विचरण) के एक अनुमान का उपयोग करता है। यह अक्सर प्रशिक्षण में मदद करता है, लेकिन गणना और स्मृति के मामले में थोड़ा अधिक महंगा है।

ध्यान दें कि इस एल्गोरिथ्म के घने क्रियान्वयन में, mg, ms, और mom भले ही ग्रेड शून्य हो, लेकिन अपडेट होगा, लेकिन इस विरल कार्यान्वयन में mg, ms, और mom पुनरावृत्तियों में अपडेट नहीं करेंगे, जिसके दौरान ग्रेड शून्य है।

mean_square = decay * mean_square + (1-क्षय) * gradient ** 2 माध्य_ग्रेड = क्षय * mean_grad + (1-क्षय) * gradient

डेल्टा = Learning_rate * gradient / sqrt (माध्य_आदर्श + एप्सिलॉन - माध्य_ग्रेड ** 2)

mg <- rho * mg_ {t-1} + (1-rho) * grad ms <- rho * ms_ {t-1} + ((1-rho) * grad * grad mom <- गति * mom_ {t-1 } + lr * grad / sqrt (ms - mg * mg + epsilon) var <- var - mom

तर्क:

  • गुंजाइश: एक स्कोप ऑब्जेक्ट
  • var: एक चर () से होना चाहिए।
  • मिलीग्राम: एक चर () से होना चाहिए।
  • एमएस: एक चर () से होना चाहिए।
  • माँ: एक चर () से होना चाहिए।
  • lr: स्केलिंग फैक्टर। एक स्केलर होना चाहिए।
  • rho: क्षय दर। एक स्केलर होना चाहिए।
  • एप्सिलॉन: रिज टर्म। एक स्केलर होना चाहिए।
  • grad: ढाल।

वैकल्पिक विशेषताएँ ( Attrs देखें):

  • use_locking: यदि True , तो var, mg, ms, और mom टेनसर्स का अद्यतन लॉक द्वारा सुरक्षित है; अन्यथा व्यवहार अपरिभाषित है, लेकिन कम विवाद को प्रदर्शित कर सकता है।

रिटर्न:

कंस्ट्रक्टर और डिस्ट्रक्टर्स

ResourceApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad)
ResourceApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, const ResourceApplyCenteredRMSProp::Attrs & attrs)

सार्वजनिक विशेषताएँ

operation

सार्वजनिक कार्य

operator::tensorflow::Operation () const

सार्वजनिक स्थैतिक कार्य

UseLocking (bool x)

संरचनाएं

टेनसफ़्लो :: ऑप्स :: रिसोर्सएप्लीकेटरेडआरएमएसप्रॉप :: अट्र्स

वैकल्पिक विशेषता ResourceApplyCenteredRMSProp के लिए बसता है।

सार्वजनिक विशेषताएँ

ऑपरेशन

Operation operation

सार्वजनिक कार्य

ResourceApplyCenteredRMSProp

 ResourceApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad
)

ResourceApplyCenteredRMSProp

 ResourceApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  const ResourceApplyCenteredRMSProp::Attrs & attrs
)

ऑपरेटर :: टेंसरफ़्लो :: ऑपरेशन

 operator::tensorflow::Operation() const

सार्वजनिक स्थैतिक कार्य

उपयोग करना

Attrs UseLocking(
  bool x
)