टेंसरफ़्लो :: ऑप्स :: SparseApplyCenteredRMSProp

#include <training_ops.h>

केंद्रित RMSProp एल्गोरिथ्म के अनुसार '* var' अपडेट करें।

सारांश

केंद्रीकृत RMSProp एल्गोरिथ्म, सामान्य RMSProp के विपरीत केंद्रित दूसरे पल (यानी, विचरण) के एक अनुमान का उपयोग करता है, जो दूसरे क्षण का उपयोग करता है। यह अक्सर प्रशिक्षण में मदद करता है, लेकिन गणना और स्मृति के मामले में थोड़ा अधिक महंगा है।

ध्यान दें कि इस एल्गोरिथ्म के घने क्रियान्वयन में, mg, ms, और mom भले ही ग्रेड शून्य हो, लेकिन अपडेट होगा, लेकिन इस विरल कार्यान्वयन में mg, ms, और mom पुनरावृत्तियों में अपडेट नहीं करेंगे, जिसके दौरान ग्रेड शून्य है।

mean_square = decay * mean_square + (1-decay) * gradient ** 2 mean_grad = decay * mean_grad + (1-decay) * gradient Delta = Learning_rate * gradient / sqrt (माध्य_आदर्श + epsilon - mean_grad ** 2)

$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$ $$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$ $$var <- var - mom$$

तर्क:

  • गुंजाइश: एक स्कोप ऑब्जेक्ट
  • var: एक परिवर्तनीय () से होना चाहिए।
  • मिलीग्राम: एक चर () से होना चाहिए।
  • एमएस: एक चर () से होना चाहिए।
  • माँ: एक चर () से होना चाहिए।
  • lr: स्केलिंग फैक्टर। एक स्केलर होना चाहिए।
  • rho: क्षय दर। एक स्केलर होना चाहिए।
  • एप्सिलॉन: रिज टर्म। एक स्केलर होना चाहिए।
  • grad: ढाल।
  • सूचकांक: var, ms और mom के पहले आयाम में सूचकांकों का वेक्टर।

वैकल्पिक विशेषताएँ ( Attrs देखें):

  • use_locking: यदि True , तो var, mg, ms, और mom टेनसर्स का अद्यतन लॉक द्वारा सुरक्षित है; अन्यथा व्यवहार अपरिभाषित है, लेकिन कम विवाद को प्रदर्शित कर सकता है।

रिटर्न:

  • Output : "var" के समान।

कंस्ट्रक्टर और डिस्ट्रक्टर्स

SparseApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices)
SparseApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices, const SparseApplyCenteredRMSProp::Attrs & attrs)

सार्वजनिक विशेषताएँ

operation
out

सार्वजनिक कार्य

node () const
::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

सार्वजनिक स्थैतिक कार्य

UseLocking (bool x)

संरचनाएं

टेंसोफ़्लो :: ऑप्स :: स्पार्सेप्लीकेंटरेडआरएमएसप्रॉप :: अट्र्स

वैकल्पिक विशेषता SparseApplyCenteredRMSProp के लिए बसती है ।

सार्वजनिक विशेषताएँ

ऑपरेशन

Operation operation

बाहर

::tensorflow::Output out

सार्वजनिक कार्य

SparseApplyCenteredRMSProp

 SparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices
)

SparseApplyCenteredRMSProp

 SparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices,
  const SparseApplyCenteredRMSProp::Attrs & attrs
)

नोड

::tensorflow::Node * node() const

ऑपरेटर :: टेंसरफ़्लो :: इनपुट

 operator::tensorflow::Input() const
है

ऑपरेटर :: टेंसोफ़्लो :: आउटपुट

 operator::tensorflow::Output() const

सार्वजनिक स्थैतिक कार्य

उपयोग करना

Attrs UseLocking(
  bool x
)