टेंसरफ़्लो :: ऑप्स :: रिसोर्ससपर्सएप्लीकेटरेडआरएमएसप्रॉप

#include <training_ops.h>

केंद्रित RMSProp एल्गोरिथ्म के अनुसार '* var' अपडेट करें।

सारांश

केंद्रीकृत RMSProp एल्गोरिथ्म, सामान्य RMSProp के विपरीत केंद्रित दूसरे पल (यानी, विचरण) के एक अनुमान का उपयोग करता है, जो दूसरे क्षण का उपयोग करता है। यह अक्सर प्रशिक्षण में मदद करता है, लेकिन गणना और स्मृति के मामले में थोड़ा अधिक महंगा है।

ध्यान दें कि इस एल्गोरिथ्म के घने क्रियान्वयन में, mg, ms, और mom भले ही ग्रेड शून्य हो, लेकिन अपडेट होगा, लेकिन इस विरल कार्यान्वयन में mg, ms, और mom पुनरावृत्तियों में अपडेट नहीं करेंगे, जिसके दौरान ग्रेड शून्य है।

mean_square = decay * mean_square + (1-decay) * gradient ** 2 mean_grad = decay * mean_grad + (1-decay) * gradient Delta = Learning_rate * gradient / sqrt (माध्य_आदर्श + epsilon - mean_grad ** 2)

ms <- rho * ms_ {t-1} + (1-rho) * grad * grad mom <- गति * mom_ {t-1} + lr * grad / sqrt (ms + epsilon) var </ mom -

तर्क:

• गुंजाइश: एक स्कोप ऑब्जेक्ट
• var: एक परिवर्तनीय () से होना चाहिए।
• मिलीग्राम: एक चर () से होना चाहिए।
• एमएस: एक चर () से होना चाहिए।
• माँ: एक चर () से होना चाहिए।
• lr: स्केलिंग फैक्टर। एक स्केलर होना चाहिए।
• rho: क्षय दर। एक स्केलर होना चाहिए।
• एप्सिलॉन: रिज टर्म। एक स्केलर होना चाहिए।
• grad: ढाल।
• सूचकांक: var, ms और mom के पहले आयाम में सूचकांकों का वेक्टर।

वैकल्पिक विशेषताएँ ( Attrs देखें):

• use_locking: यदि True , तो var, mg, ms, और mom टेनसर्स का अद्यतन लॉक द्वारा सुरक्षित है; अन्यथा व्यवहार अपरिभाषित है, लेकिन कम विवाद को प्रदर्शित कर सकता है।

रिटर्न:

• बनाया गया Operation

कंस्ट्रक्टर और डिस्ट्रक्टर्स
ResourceSparseApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices)
ResourceSparseApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices, const ResourceSparseApplyCenteredRMSProp::Attrs & attrs)

सार्वजनिक विशेषताएँ
operation	Operation

सार्वजनिक कार्य
operator::tensorflow::Operation () const

सार्वजनिक स्थैतिक कार्य
UseLocking (bool x)	Attrs

संरचनाएं
टेनसफ़्लो :: ऑप्स :: रिसोर्सस्पर्शीलीकेंटरेडआरएमएसप्रॉप :: एट्र्स	वैकल्पिक विशेषता ResourceSparseApplyCenteredRMSProp के लिए बसती है।

सार्वजनिक विशेषताएँ

ऑपरेशन

Operation operation

सार्वजनिक कार्य

रिसोर्ससपर्सएप्लीकेटरेडआरएमएसप्रॉप

 ResourceSparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices
)

रिसोर्ससपर्सलीलीकेंटरेडआरएमएसप्रॉप

 ResourceSparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices,
  const ResourceSparseApplyCenteredRMSProp::Attrs & attrs
)

ऑपरेटर :: टेंसरफ़्लो :: ऑपरेशन

 operator::tensorflow::Operation() const 

सार्वजनिक स्थैतिक कार्य

उपयोग करना

Attrs UseLocking(
  bool x
)